동물과 기계에서 벗어나 by 스가쓰케 마사노부

[ 밑줄/연결 ]

 

"'잔혹한 미래'라는 게 따로 있는 게 아니다. 미래는 그것이 미래라는 이유만으로 이미 본래 잔혹한 것이다. 이 잔혹함의 책임은 미래에 있는 게 아니라, 오히려 단절을 수긍하지 않는 현재에 있을 것이다. " - 아베 고보, <제4의 간빙기>

일본의 사상가 아즈마 히로키는 <동물화하는 포스트모던>에서 미국의 소비사회를 동물화된 사회라고 평가한 프랑스의 사상가 알렉상드로 코제브를 인용하면서, 일본은 커다란 이념이나 이야기를 잃고 그저 물건과 기호를 소비할 뿐인 시대에 들어섰고, 이는 인간의 동물화를 의미한다고 썼다.

 

코제프는 "인간이 계속 인간일 수 있으려면 대상과 대립하는 주관이 있어야 한다. 즉, 주어진 환경을 거부할 수 있어야 한다는 말이다. " 

 

AI를 대하는 태도에 따라 논객의 유형을 분류할 수 있다.

첫 번째 유형은 AI가 인간의 지능을 뛰어넘어도 인간이 AI와 공존한다면 다음 단계로 나아갈 수 있다고 보고, 이 공존 상태 자체를 유토피아로 여기는 사람들이다...그들을 'AI 유토피언'이라고 부르도록 하자....커즈와일...페드로 도밍고스 등

 

두 번째 유형은 AI가 인간을 위협할 것이라고 생각하는 'AI 디스토피언'이다...빌 게이츠, 일론 머스크, 스티브 호킹, 닉 보스트롬 등

 

세 번째 유형은 AI의 능력이 향상되어도 그것이 인간처럼 복잡한 의식과 지능을 가지거나 다른 생물처럼 자율성을 가지기는 힘들 거라고 생각하는 'AI회의론자'다....맥스 테그마크, 유발 하라리 등 

 

과연 '안다'는 게 뭘까요? 실은 그걸 아직 모릅니다. '안다'는 게 뭔지 '모르는' 상태죠..

 

인간은 세상의 모든 정보를 참조할 수 없는 '부분 정보 문제'를 푸는 게 특기입니다. 

 

자율성이 지성의 시작이며, 자율성은 지성에 선행합니다.

 

전이학습은 인간이 가진 아날로지, 즉 비유력을 AI에 도입하려는 시도다. 정보가 적더라도, 비유가 가능해지면 AI도 사물을 이해할 수 있으리라고 본다. 

 

<기계의 마음>을 리처도 용크, "감정이란 지성에 종속되는 이차원적 존재가 아니며, 오히려 감정이야말로 지성의 기반이자 지성을 견인하는 역할을 하는 것, 또 감정 해석은 AI발전에 극히 중요함과 동시에 곤란한 과제"라고 설명한다.

우리는 매일 같은 일을 반복하고 있으며, 우리 행동의 많은 부분은 예측 가능해요. 이건 좀 무서운 일이기도 하죠. 우리는 자의식을 가지고 있지만, 그것은 기본적으로 습관이 만드는 겁니다. 즉 우리가 자의식이라고 생각하는 것이 실은 우리에게 주어진 정보와 환경이 만든 것이고, 이제 AI가 그 습관의 바탕이 될 가능성을 부정할 수 없어요.

 

아키텍처란, 사회 설계 중에서도 사람의 사고와 행동을 규정하고 또 촉구하는 시스템의 설계를 나타내는 용어라고 할 수 있다.

 

미셸 푸코의 '하이퍼 파놉티콘', 시민들 속에 늘어나는 불안과 그에 비례해 증가하는 안심/안전에 대한 욕구가 기술에 의한 철저한 상호 감시 사회로 이어질 것이라 보는 관점이다.

하라리가 <사피엔스>에서 "인류는 허구를 믿으면서 번영한다"라고 말했듯...

 

제임스 휘트먼에 따르면 유럽연합은 '존중'을, 미국은 '자유'를, 그리고 제 생각에 중국은 '공산'을 기준으로 개인 프라이버시에 접근해서 법 제도를 설계하고 있어요.

 

애초에 '선택 환경의 선택(즉 메타 선택)에 대한 자주성'을 담보하지 않으면, 알고리즘에 의해 선택이 조작될 가능성도 있다.

 

의식적으로 아키텍처에 의문을 품거나, 그것에 반하는 판단을 내리거나, 이유를 물을 필요가 있다.

---> 그러 해야 하거늘 몇 명이나 그리 하겠는가?!!

---> 우리는 그저 무의식적인 자동기계일 경우가 대부분이다. 그냥 습관적으로 반응할 뿐....

 

지금 사회는 여태껏 본 적이 없는 것, 찾지 않은 정보와 우연히 맞닥뜨리는 일이 줄어들고 있어요. 의견이 다른 사람끼리 교류하지 않게 하는 필터 버블(filter bubble) 현상이 생기는 등, 민주주의의 관점에서도 바람직하지 않습니다.

 

'통합정보이론'(Integrated Information Theory)은 줄리오 토니니가 창안한 개념으로  '정보가 통합되는 곳에 의식이 깃든다'는 명제다. 토노니의 '의식은 언제 탄생하는가'에서는 의식에 대해 다음 두 가지 공리를 언급한다.

1) 의식 경험은 풍부한 정보량에 의해 지지된다. 의식은 무한한 가능성의 레퍼토리에 의해 지탱되고 있다.

2) 의식의 경험은 통합적인 것이다. 어떤 의식 상태에서나 단일하게 느껴진다. 따라서 의식의 기반도 통합된 것이어야 한다. 

 

스타트업 아라야 대표 '가나이 료타'는 의식의 기능이란 "반실가상적(현실과는 반대의 것을 떠올리는 일)인 상황의 감각 표현을 내적 모델에 기반해 생성하는 능력"이라는 가설을 구축했고, 이것을 '의식의 정보생성이론'이라고 부른다.

---> '가나이 료타'은 책은 국내 한 권이 공저 형태로 번역이 되어 있다.

 

가나이는 "정보야말로 의식의 본질입니다. 이 우주에서 정보가 발생한 순간 거기에는 의식이 있는 것이라 생각합니다."...."정보란 인과성을 말합니다. 어떤 일이 생겼을 때, 그 인과관계를 살펴보면, 거기에는 미래와 과거의 정보가 포함되어 있죠. 이 정보는 어디까지나 생리적 인과관계에 의해 규정됩니다." 

---> 지승도교수도 같은 주장을 한다. 

 

가나이는 AI에 자율성을 부여하려면 자발성(내적 동기, 의도, 호기심), 범화성(어떤 특정하 자극에 대한 반응이 형성된 뒤에, 그 자극과 다소 다른 자극을 주어도 동일한 반응이 나타나는 일, 창조성, 사고), 설명 가능성(메타 인지, 언어)이 필요하다고 본다. 자발성이란 목표를 외부에서 부여하지 않아도 스스로 설정하는 능력이며, 호기심은 외부 세계에서 자신에게 흘러드는 정보의 양을 최대화하는 일이다...

 

스스로 환경에 가하는 영향력을 최대화하는 것을 임파워먼트라고 부르는데, 정보이론에서는 이것을 자기 밖에서 흘러들어오는 정보량을 최대화할 필요라고 보며, 임파워먼트의 총량은 계산 가능하다고 말한다.

---> 훌륭한 통찰이다.

---> 지승도교수는 AI가 자의식이 생기려면 설명 가능성이, 특히 언어에 대한 이해 능력이 생겨야 한다고 주장한다. 내가 보기에 가나이 료타 CEO의 말이 더 타당하고 폭넓은 통찰인 듯 하다.

 

살아가기 위해서는 정보가 필요합니다. 정보를 얻기 위해서는 스스로 바깥 세계를 인식해야 하죠. 즉 살기 위해서는 인식이 필요한 것입니다. 고로 생명이라는 것과 의식을 가지는 일이 연결됩니다. 따라서 생명 진화 과정에 의식이 생긴 건 필연적이라는 생각이 드는 거죠. 그러므로 인공의식을 만들어낸 '자기 보존적 시스템으로서 생명이 탄생하면, 이 우주 안에서 의식이 필연적으로 생겨난다는 것이 증명되리라 생각합니다.

 

와타나베가 주목하는 것은 인공의식을 만들어내며 그 구조를 밝혀내는 접근법이다. 그때 참조하는 것이 차머스의 '페이딩 퀄리아, Fading qualia'라는 사고실험이다. 페이딩 퀄리아는 인간의 뉴런을, 뉴런과 완전히 같은 기능을 가진 인공 뉴런으로 하나씩 교체하는 실험이다. 

 

의식이란 행위가 아니라 뉴런이 만드는 복잡성이다.

 

코흐는 세계라는 복잡한 시스템을 이해하려면 감정이 필요하다고 말한다. "고통과 기쁨, 선과 악이라는 감정이 없이 세계를 이해할 수는 없어요. 예를 들어 컴퓨터가 질량의 법칙을 계산할 수는 있지만, 질량 그 자체를 느낄 수 없듯 말이죠. 물체의 무게를 실감할 때 감정이 태어나고, 감정이 의식을 낳는 겁니다."

 

코흐는 "의식이란 당신 내부에서 인과적 효력(심적 상태가 실재하고 그것이 가능한 상태)을 가진다는 걸 의미합니다. 의식이 있으면 자유의지도 있습니다. 그렇지만 그것은 날아다닐 정도의 자유가 아니라, 일상 물리법칙 속에서의 자유죠."

 

데이비드 브레이는 "알고리즘이 좋은 쪽으로 갈지 어떨지는, 우리가 그것에 얼마나 중요한 정보를 위탁할지에 따를 겁니다. AI가 인공적 창작물이듯 시민의 권리도 창작물입니다. 우리가 AI를 써서 어떤 시민으로 살아갈지는 '우리가 어디로 가고 싶은가?'라는 질문에 따르겠죠."

 

모델 구축, 인과관계의 이해, 훈련에 포함되지 않은 질문을 하는 것은 고도 지성의 일부이며, 현재 딥러닝에는 없는 기능입니다. 

 

앤드루 양(Andrew yang)이 제창하는 '인간 중심 자본주의의 강령'은 다음과 같다.

1. 인간성은 돈보다 중요하다.

2. 경제 단위는 사람이며 돈이 아니다.

3. 시장은 사람들의 공통 가치와 목적을 위해 존재해야 한다.

"오늘날은 과거 어느 때보다 일의 수단이 많지만, 왜 사는지에 대한 의미는 거의 상실하고 있다." - 빅터 플랭클

 

현대의 거대 디지털 플랫폼은 인간 본성에 반하는 일을 강제하지 않습니다. GAFA비판과 BAT비판을 해도 별수가 없어요. 왜냐하면 그들이 제공하는 서비스는 인간 본성에 기반하며, 플랫포머가 바뀌어도 다시 같은 것이 나올 뿐이기 때문이죠.

 

정보화되지 않는 정서가 중요합니다. 세계는 정보만으로 구성되어 있지 않으니까요. 정보는 해석하면 가치를 부여할 수 있고 이런 가치화는 목적에 따라서 행해지지만, 애초에 지구와 자연은 목적을 가지고 생성된 게 아닙니다. 따라서 이 세계에는 목적과 가치에 대한 판단만으로 이해할 수 없는 일들이 더 많은 거고요.

 

나는 생각한다, 고로 존재한다....'이마니시 긴지'나 '니시다 기타로'는 이 개념이 잘못되었다고 말합니다. 이마니시는 '나는 느낀다, 고로 존재한다'고 말합니다.

 

서양철학에서는 객관이 중시되며 그 전형이 바로 수학이다. 

 

신실재론(물리적 대상만이 아니라 그것에 대한 사상, 마음, 감정, 심지어 공상까지도 실재한다고 보는 사상)을 창안해서 큰 주목을 받은 젊은 철학자 마르쿠스 가브리엘(markus gabriel)...

 

모리타는 AI에 거는 과도한 기대는, 과거 수학에 건 기대와 마찬가지 문제를 안고 있다고 말했다. 

기계학습과 심층학습의 패러다임은 주어진 것 이상의 작업을 처리할 수 없고, 기계는 계산은 할 수 있지만 이해는 할 수 없다. 

 

네가 얻은 결론....'의식'과 '앎'이라는 것, '나란 무엇인가' 같은 자율성의 핵심이 되는 개념을 우리가 제대로 정의하지 못하고 있기 때문이다. 어쩌면 그것은 영원히 정의되지 않을지도 모른다. 

 

21세기 후반을 사는 인간의 가장 큰 문제는 AI나 경제가 아니라 시간을 쓰는 법, 즉 '삶을 어떻게 살아야 하는지'가 되리라는 예감이 든다. 

 

[ 자평 ]

 

저자는 인터뷰를 하고 정리를 하여 책을 내는 스타일인 듯 하다. 그가 정리한 <앞으로의 교양>도 좋았기 때문에 나오자 마자 읽었다.

간간히 나오는 인터뷰들이 슬쩍 슬쩍 던지는 언어에 통찰과 수준이 높은 내용이들 꽤 보였다. 

하나 하나 깊게 생각한다면 그 문장들이 절대 가볍지 않을 것이다.

 

특히 '개념잡는 비주얼 뇌 과학책'에서는 '가나이 료타'는 서식스대학교 새클러 의식 과학 센터와 심리학과 소속 인지신경과학자로 나오는데 이 책에서는 CEO로 나오는 것으로 보아 회사로 옮긴 듯 한데 인상 깊다.