마음의 모델 by 그레이스 린지(Grace Lindsay)

 

[ 밑줄/연결 ]

 

 

수식은 모델이 아니라 데이터를 설명하기 위한 것이다.

설명을 위한 수식은 사건을 만화로 그린 것과 비슷하다. 현상을 묘사하지만 깊이가 없다는 뜻이다.

반면, 모델은 재현(Reenactment)이다.

 

 

심층신경만은 뉴런 모델에 기초하지만, 인간의 뇌를 그대로 복제하는 것을 목표로 하지 않는다.

실제로 심층신경망은 인간 뇌의 해부학적 구조를 모방하려고 하지 않는다. 현재의 심층신경망의 목표는 인간의 행동을 모방하는 것이며, 꽤 성공을 거두고 있다.

 

역전파알고리즘은 뇌의 학습 모델로서가 아니라 인공신경망을 작동시키기 위한 수학적 도구로서 설계된 것이다.

 

기억이 끌개인 이유는 기억을 형성하는 뉴런 중 일부의 활성화에 의해 네트워크가 나머지 기억 모두를 인출할 수 있기 때문이다.

 

카오스 과정은 무작위로 보이는 출력을 생성하지만, 실제로는 규칙의 완벽한 준수에 의해 발생한다.

----> 근래 읽은 아래 책에서 명확하게 수학적으로 설명해 준다.

 

 

뇌 안에서의 진동의 역할에 대한 우아한 가설들은 직접적으로 검증이 된 적이 없다.

검증 자체가 어렵기 때문이다. 따라서 이 가설들은 지금도 가설로 남아 있다. 

 

기호가 흔하지 않을수록 많은 정보를 전달하지만 흔한 기호는 정보를 많이 전달하지 못한다는 것을 알 수 있다....

 

희귀한 기호일수록 많은 정보를 전달하기 때문에 암호에는 희귀한 기호가 최대한 많이 포함되어야 한다. 하지만 희귀한 기호를 더 많이 사용할수록 그 기호의 희귀성은 줄어든다. 엔트로피를 나타내는 수식은 정보의 양과 기호의 희귀성 사이의 이 관계를 나타내는 수식이다. 

----> 아래 책이 기막히게 그런 것을 설명해 주고 있다.

 

 

정보이론은 공학적이 정보통신 시스템을 위한 언어로 만들어진 것이다. 따라서 정보이론은 신경계에 완벽하게 적용될 수 없다.

 

하나의 뉴런에 대한 연구와 뉴런 집단에 대한 연구의 근본적인 차이 중 하나는 차원성(dimensionality)이다. 

우리가 살고 있는 공간은 3차원이지만, 과학자들이 연구하는 많은 시스템은 휠씬 더 높은 차원을 가지고 있다. 예를 들어, 100개의 뉴런 집단의 활동은 100차원일 것이다.

 

뇌는 효율적이 정보 전송과 견고해져야 하는 필요성 사이에서 균형을 유지해야 하기  때문에 중복성을 가지는 것이다.

 

 

구조가 어떻게 기능을 낳는지 이해하려면 먼저 구조에 대해 확실하게 이해해야 하는데, 바로 그래프 이론의 언어가 이를 가능하게 한다.

 

뇌를 이해하는 데 있어 신경계의 구조를 아는 것은 꼭 필요한 일이지만 그 구조만으로는 충분하지 않다.

 

가능도는 현재 상황에서 확보된 증거, 사전확률은 시간이 지나면서 축적된 지식을 나타낸다.

 

 

모든 것을 설명하는 이론이 아무것도 설명하지 못할 위험이 있다.....

자유 매개 변수가 너무 많다는 단점이 존재한다. 모델의 자유 매개변수란 움직일 수 있는 부분을 뜻한다. 

자유 매개변수가 많다는 것은 연구자가 개입할 수 있는 소지가 매우 많다는 뜻이기도 하다.

 

어떤 과학 분야에서든 충분한 정량적 데이터가 축적되면 결국 그 데이터를 이해하기 위해 수학적 모델을 구축해야 한다.

모델 구축은 숫자 더미에서 구조를 찾는 과정이다. 모델은 다양한 결과들을 결합해 그 결과들이 어떻게 하나의 공통적인 과정에 의해 도출됐는지 보여준다.

 

 

도파민 뉴런의 발화가 학습에 필요한 가치 예측 오류에 관한 긍정적 신호와 부정적 신호를 모두 보낼 수 있음을 보여주었으며, 도파민은 쾌락과 관련된 물질에서 학습과 관련된 물질로 이해하게 만들었다.

 

데이비드 마아(David Marr)의 1982년 <시각: 인간의 시각 정보 표현과 처리에 대한 계산적 연구>에서....

뇌에 대한 이해가 3가지 단계로 구성되어야 한다고 썼다. 

(1) 계산(computation) 단계 : 신경계의 전반적인 목적, 즉 신경계가 무엇을 하는지에 대한 대답을 해야 한다.

(2) 알고리즘(algorithmic) 단계 : 신경계가 어떻게, 즉 어떤 단계들을 통해 이 목적을 달성하는지....

(3) 구현(implementation) 단계 : 신경계의 어떤 부분들(뉴런과 신경전달물질 등)이 단계들을 구현하는지...

 

 

칼 프리스턴의 자유 에너지 법칙은 뇌가 어떻게 작동하는지에 대한 강력하거나 구체적인 주장이라기보다는 뇌를 보는 방식에 더 가깝다.

----> 칼( Karl J. Friston)의 국내 저서는 없다. 이 책에서 처음 접했고, 흥미가 생겼다.

---> Karl Friston의 AI 법칙이 입증됨: FEP는 뉴런이 학습하는 방법을 설명합니다. | HackerNoon

Karl Friston의 AI 법칙이 입증됨: FEP는 뉴런이 학습하는 방법을 설명합니다. | HackerNoon

 

칼 J. 프리스턴 - 위키백과, 우리 모두의 백과사전

Karl J. Friston - Wikipedia

 

 

뇌가 다양한 구성요소와 메커니즘이 복잡하게 뒤섞인 잡탕과 같은 실체라는 사실을 발견한 것은 전혀 놀랍지 않다.

뇌는 기능을 하기 위해 이렇게 복잡하게 진화한 것에 불과하다. 따라서 뇌를 간단한 법칙들로 설명할 수 있을 것이라고 생각할 합리적인 이유도 전혀 없다고 할 수 있다.

 

자유 에너지 법칙은 신경 활동과 행동을 설명할 수 있는 뇌의 통합이론으로 제시됐다.

자유 에너지는 다음과 같이 정의된다.

 

 

 

[ 자평 ]  

 

원서는 <Models of the Mind : How Physics, Engineering and Mathematics Have Shaped Our Understanding of the Brain>이며 2022년에 출간되었다. 저자 'Grace Lindsay'는 계산 신경과학 부문 구글 박사 펠로십을 받았은 계산신경과학 전문가이다.

내가 기대했던 내용은 아니다.

나는 마음이란 것에 대한 이론적 모델을 제시한 책인 줄 알고 기대감이 엄청 높았었다.

하지만 책은 계산 신경과학의 간략히 역사 정도로 보면 되겠다.

 

이런 내용은 기본적으로 지금 읽고 있는 아래 책들과도 일부 겹친다.

이 책의 나의 오해로 (원서 제목만 확인했어도 그런 기대는 없었을 텐데) 기대와는 맞지 않았지만, 읽을 만 했다.