머신러닝을 공부하다 보면 어느 순간 뇌과학이 자꾸 눈에 밟힙니다. 저도 처음엔 그냥 우연한 관심이라 생각했는데, 알고 보니 두 분야는 '정보처리 모델'이라는 공통 언어로 연결되어 있었습니다. 그중에서도 뇌 가소성, 즉 뇌가 스스로 회로를 재구성하는 능력은 단순한 생물학 이야기가 아니었습니다. 끊임없이 남과 비교하고, 걱정의 잡음에 예민하게 반응하던 제 습관이 뇌과학적으로 얼마나 비효율적인 일인지를 뒤늦게 깨달은 건 솔직히 예상 밖이었습니다.
인간의 뇌가 '전문성' 대신 '가소성'을 택한 이유
일반적으로 진화는 더 강하고 빠른 방향으로 나아간다고 알려져 있지만, 인간의 뇌는 정반대의 선택을 했습니다. 태어나자마자 뛰어다니는 가젤이나 기린과 달리, 인간은 10년 이상 부모의 보살핌 없이는 생존조차 어렵습니다. 얼핏 보면 진화의 실패처럼 보이지만, 이게 바로 인간이 지구에서 가장 번성한 종이 된 핵심 전략이었습니다.
뇌 가소성(Neuroplasticity)이란 뇌가 외부 환경과 경험에 따라 신경 회로를 스스로 재구성하는 능력을 말합니다. 여기서 신경 회로란 뉴런과 뉴런 사이의 연결망, 즉 시냅스 구조 전체를 의미합니다. 미리 설계된 고정 구조 대신 이 유연한 설계를 택함으로써, 인간의 뇌는 사바나의 안정된 환경을 벗어나 극지방부터 열대우림까지 어디서든 살아남을 수 있었습니다.
머신러닝을 공부하는 입장에서 이 대목이 특히 인상 깊었습니다. 수백만 년의 진화를 거쳐 선택된 이 설계는, 모델의 구조를 유연하게 두고 데이터로부터 직접 학습하게 만드는 방식과 개념적으로 너무나 닮아 있었습니다. 인간의 뇌가 고정된 전문 구조 대신 범용 학습 엔진을 선택했다는 점은, 어떤 의미에서는 수많은 진화적 시도를 통해 최적화된 하이퍼파라미터(Hyperparameter)를 찾아낸 결과가 아닐까 싶습니다. 하이퍼파라미터란 모델이 학습하기 전에 사람이 미리 설정하는 구조적 조건을 말합니다.
- 고정 구조(전문성): 빠른 성장, 좁은 적응 범위 — 가젤, 기린
- 유연 구조(가소성): 느린 성장, 넓은 적응 범위 — 인간
- 인간의 선택은 단기 생존보다 장기 적응 가능성에 베팅한 것
신경 회로는 어떻게 재편되는가 — 뇌피질의 '회사' 논리
제가 직접 공부하며 가장 충격적으로 받아들인 부분이 여기입니다. 뇌의 각 피질(Cortex) 부위가 특정 감각을 처리하도록 태어날 때부터 정해져 있다고 알려져 있지만, 실제로는 전혀 그렇지 않습니다. 여기서 피질이란 뇌의 표면을 덮고 있는 신경세포층으로, 감각 처리부터 언어, 사고까지 담당하는 핵심 영역입니다.
1797년 영국 해군 제독 넬슨 경은 오른팔을 잃은 후에도 절단된 팔이 여전히 존재하는 듯한 감각을 느꼈습니다. 이는 팔을 담당하던 뇌 영역이 인접한 다른 신체 부위를 담당하는 쪽으로 흡수·재편되는 과정에서 나타난 현상입니다. 더 놀라운 건 손가락 두 개를 묶어놓는 것만으로도 해당 영역들이 하나로 합쳐질 수 있다는 사실입니다. 뇌는 들어오는 신호의 패턴에 따라 스스로 담당 부서를 재배치합니다.
시각 장애를 가진 벤 언더우드는 혀로 소리를 내고 그 반사음을 듣는 방식으로 주변을 파악하는 능력을 발달시켰습니다. 이른바 반향정위(Echolocation)라고 불리는 박쥐의 음파 탐지와 유사한 방식인데, 그의 뇌를 조사했더니 소리를 들을 때 청각 피질뿐 아니라 시각 피질도 함께 활성화되고 있었습니다. 시각 부서에 시각 신호가 들어오지 않자, 뇌는 청각 신호로 그 부서를 채운 것입니다(출처: NCBI, 시각 피질의 교차감각 가소성 연구).
이 대목에서 저는 요즘 활발히 연구되고 있는 멀티모달 러닝(Multimodal Learning) 모델이 떠올랐습니다. 멀티모달 러닝이란 텍스트, 이미지, 오디오 등 서로 다른 형식의 데이터를 하나의 모델이 통합적으로 처리하는 방식을 말합니다. 뇌가 시각 피질에서 청각 신호를 처리하는 것과 구조적으로 너무 비슷해서, 인간의 뇌가 이미 수십만 년 전에 멀티모달 아키텍처를 구현하고 있었던 게 아닌가 하는 생각이 들었습니다.
꿈이 렘수면인 이유 — 뇌의 사내 정치와 정규화
꿈이 왜 존재하는지에 대한 이 설명을 처음 들었을 때, 솔직히 이건 예상 밖이었습니다. 뇌 가소성이 너무 강력한 나머지, 잠자는 동안 눈에 빛이 들어오지 않으면 시각 피질이 청각이나 다른 신호에 잠식될 위험이 생깁니다. 이를 막기 위해 뇌간의 뇌교(Pons)가 시각 피질로 랜덤한 신호를 쏘아 올려 "나 아직 여기 있어"라고 유지시키는 것이 바로 렘수면(REM Sleep), 즉 꿈입니다. 여기서 뇌교란 뇌간 중앙에 위치한 구조물로, 수면과 각성, 호흡 등 기본 생명 활동을 조율하는 역할을 합니다.
일반적으로 꿈은 낮 동안의 경험을 정리하는 기억 통합 과정이라고 알려져 있지만, 제가 이 내용을 접했을 때는 다른 각도가 더 와닿았습니다. 머신러닝에서는 모델이 특정 데이터에 과도하게 최적화되는 것을 막기 위해 정규화(Regularization)라는 기법을 씁니다. 정규화란 학습 과정에서 랜덤 노이즈를 추가하거나 가중치에 제약을 걸어 모델의 일반화 능력을 높이는 방법입니다. 실제로 학습 데이터에 약간의 노이즈를 섞은 변형 데이터를 함께 훈련시키면 모델이 훨씬 유연하고 견고하게 학습됩니다. 꿈이 랜덤한 시각 신호를 시각 피질에 던져주는 방식이 이 퍼튜베이션(Perturbation, 작은 교란)과 구조적으로 닮아 있다는 생각이 들었습니다.
또 한 가지 흥미로운 사실은, 나이가 들수록 렘수면의 비중이 줄어든다는 점입니다. 이는 뇌 가소성 자체가 나이와 함께 줄어들기 때문에, 시각 피질을 방어하기 위한 랜덤 신호의 필요성도 함께 감소하기 때문으로 볼 수 있습니다. 뇌의 유연성이 높을수록 꿈도 많이 꾼다는 뜻이기도 합니다(출처: NIH NINDS, 수면과 뇌 구조 연구).
뇌가 변화하려면 — 흥미와 내적 동기라는 조건
단순히 새로운 정보를 반복해서 집어넣는다고 뇌가 바뀌지는 않습니다. 제 경험상 이건 좀 다릅니다. 의미 없이 반복하는 암기는 시간이 지나면 흔적도 없이 사라지지만, 재미있다고 느끼며 파고든 내용은 오래 남습니다. 뇌과학적으로도 이를 설명할 수 있습니다. 뇌가 신경 회로를 재구성하려면 그 변화가 '필요하다'고 인식되어야 하는데, 그 신호를 만드는 것이 바로 흥미와 긍정적 정서입니다.
전 세계적인 바이올리니스트 이츠하크 펄먼은 어떻게 그 수준에 이르렀느냐는 질문에 단 한 문장으로 답했다고 합니다. "저는 그렇게 했습니다." 외부의 강요가 아니라 내재적 동기(Intrinsic Motivation)에서 비롯된 헌신이었습니다. 내재적 동기란 외부 보상이 아닌 행동 자체에서 오는 만족감과 흥미를 말합니다. 반대 사례도 있습니다. 파블로 피카소의 아들 파울로 피카소는 아버지의 압도적인 성공 앞에서 내재적 동기를 발달시킬 여지를 갖지 못했고, 끝내 스스로의 가능성을 열어내지 못했습니다.
이 부분에서 저는 끊임없이 남과 비교하고, 앞서가야 한다는 조바심, 걱정과 불안의 잡음에 반응하던 제 습관이 떠올랐습니다. 뇌는 무수한 잡음 속에서 계속 반응하면 오히려 어떤 것도 깊이 처리하지 못합니다. 많은 사람들이 "현재에 집중하라", "남과 비교하지 말고 어제의 나와 비교하라"고 말하는 것이, 단순한 자기계발 격언이 아니라 뇌과학적으로도 타당한 이야기였던 겁니다. 잡음을 줄이고 지금 하는 일에 흥미를 붙이는 것이 뇌 가소성을 실제로 작동시키는 조건입니다.
한 가지 더 덧붙이고 싶은 부분이 있습니다. 일부에서는 뇌 가소성을 거의 만능으로 해석하는 시각도 있는데, 저는 이 부분에서 조금 다르게 봅니다. 뇌의 가소성은 분명 강력하지만, 인간의 뇌는 나이가 들수록 가소성을 의도적으로 줄여나갑니다. 이는 결핍이 아니라 안정화 전략입니다. 너무 유연한 뇌는 쉽게 재편되는 만큼 에너지 소모도 크고, 이미 구축된 능력이 쉽게 무너질 수 있습니다. 가소성은 무조건 많다고 좋은 것이 아니라, 적절한 시기에 적절히 작동해야 합니다.
자주 묻는 질문
Q. 뇌 가소성은 나이가 들면 완전히 사라지나요?
A. 완전히 사라지지는 않습니다. 일반적으로 어릴수록 가소성이 높다고 알려져 있지만, 성인의 뇌도 새로운 학습과 경험을 통해 신경 회로를 재구성할 수 있습니다. 다만 나이가 들수록 재편 속도가 느려지고 에너지 효율을 위해 구조가 안정화되는 경향이 있어, 무조건 '줄어드는 것이 나쁘다'고 볼 수는 없습니다.
Q. 전기 자극으로 수학 같은 특정 분야의 흥미를 인위적으로 유발할 수 있나요?
A. 현재 기술로는 특정 과목에 대한 흥미를 직접 심어주는 것은 불가능합니다. 경두개 직류 자극(tDCS) 등의 기법이 집중력이나 학습 속도에 일부 영향을 줄 수 있다는 연구는 있지만, 내재적 동기 자체를 만들어내는 수준에는 도달하지 못했습니다. 저도 이 부분이 교육에 적용된다면 어떨지 궁금한데, 현재로선 가능성의 영역으로 보는 것이 맞을 것 같습니다.
Q. 꿈을 많이 꾸면 뇌 가소성이 높은 건가요?
A. 단순히 꿈의 양만으로 가소성을 판단하기는 어렵습니다. 렘수면과 뇌 가소성의 상관관계는 연구에서 확인되지만, 꿈을 기억하느냐 못 하느냐는 또 다른 요인이 작용합니다. 다만 어린아이일수록 렘수면 비중이 훨씬 높다는 사실은, 가소성이 높은 시기일수록 시각 피질을 보호하기 위한 신호가 더 활발히 작동한다는 설명과 맞아떨어집니다.
Q. 머신러닝과 뇌과학은 실제로 서로 영향을 주고받나요?
A. 그렇습니다. 딥러닝의 기반이 된 인공신경망 자체가 뇌의 뉴런 구조에서 착안한 것이고, 반대로 머신러닝 연구에서 나온 개념들이 뇌과학 실험 설계에 적용되기도 합니다. 제가 공부하면서 느낀 것도 이 방향성인데, 정보처리 모델이라는 공통 언어를 두고 두 분야가 상호 참조하는 평행성이 점점 뚜렷해지고 있는 것 같습니다.
결론
뇌 가소성은 단순히 '뇌가 변한다'는 이야기가 아닙니다. 인간이 수십만 년에 걸쳐 선택한 생존 전략이고, 그 전략은 흥미와 내적 동기라는 조건 아래서만 제대로 작동합니다. 남과 비교하고 불안의 잡음에 반응하는 것이 단순히 심리적 문제가 아니라 뇌의 학습 효율을 실제로 낮추는 일이라는 걸 알고 나니, 생각보다 훨씬 더 묵직하게 와닿았습니다.
머신러닝을 공부하는 분이라면 뇌과학 쪽도 한 번 들여다보시길 권합니다. 정규화, 멀티모달, 가소성, 하이퍼파라미터 — 이 개념들이 뇌에서 어떤 방식으로 이미 구현되어 있는지를 보면, 모델 설계를 보는 눈이 달라집니다. 그리고 반대로, 뇌과학에 관심이 있다면 지금 당장 어떤 학습에 진짜 흥미를 느끼는지부터 점검해보시는 게 출발점이 될 것 같습니다.