도덕적인 AI by 윌터 시넛암스트롱(Walter Sinnott-Armstrong)

 

[ 밑줄/연결]

 

 

심지어  인간이  첨단 AI와 결합되어 휠씬 유능한 종이 탄생하리라는 생각이 실현되기를 기다리는 사람들도 있다.

 

AI는 비관적으로 볼 필요도 있고 낙관적으로 볼 필요도 있다.

 

(운송)

ㅇ 좋은 소식: 시각장애인 스티븐 메이핸은 자율주행차를 타고 캘리포니아주 산타클라라를 돌아다닌다. 때로는 혼자 운전하기도 한다.

ㅇ 좋은 소식: 2016년 5월, 조슈아 브라운은 테슬라 모델 S를 타고 오토파일럿 모드를 켠 상태로 이동하다가 하얀색 트럭에 충돌하여 목숨을 잃어다. 자율주행차가 밝은 하늘과 트럭을 구별하지 못한 것이다.

 

 

AI가 무엇이고 무엇이 아닌지 이해고 나서는 다음의 기본적인 도덕적 가치와 어떻게 상호작용하는지 고려해야 한다.

 

 

(1. 인공지능은 무엇인가?)

 

인공 신경망은 개별 노드들이 제각기 고유한 임계값과 변형요인을 바탕으로 정보를 처리함으로써 인공 신경망의 각 부분이 서로 다른 작업을 수행하도록 설계된다.

 

트랜스포머(Transformer) 아키텍처는.....'멀리 떨어진 입력(가령 텍스트에서 휠씬 먼저 나온 단어)에 '주목'할 수 있는 어텐션 층(attention layer)으로 이루어져 있다.

 

모형을 확장하려면 모형 매개변수(대략 수십억 개), 훈련용 데이터, 모형을 효율적으로 학습하기 위한 연산 능력을 대폭 증가시켜야한다. 

 

신경망은 지도학습, 비지도학습, 강화학습이 사용할 수 있는 데이터를 표현하는 방식을 제공한다.

 

(어느 AI가 지능적인가?)

 

현재 통용되는 방법을 활용하려면 AI가 해결해야 하는 구체적인 문제 또는 임무를 수학적으로 명확하게 서술해야 한다.

 

현재의 기술 개발 수준에서는, AI가 처리하길 바라는 온갖 문제를 해결하고 접근 가능한 온갖 종류의 데이터를 수용하기 위하여 여전히 다양한 유형의  AI가 필요하다는 것이다.

 

 

(오늘날 AI가 부족한 점)

 

상식이 부족하다.

AI는 일상의 기본 현상을 추론할 때 필요한 정보를 통합하는 일에 있어서 이상하리만치 미흡한 경우가 많다.

 

한 가지만 잘한다.

대부분의 AI 시스템은 해결 가능하도록 설계된 특정한 문제 또는 임무를 넘어서 세상이 어떻게 작동하는지 폭넓게 표현하거나 이해하지 못한다.

 

'틀을 벗어나서' 사고하지 못한다. 

주어진 틀에서만 창의성을 발휘했으며 그런 경우조차 훈련용 데이터에 한정되어 이루어졌다.

 

계층적 계획에 어려움을 느낀다.

여행계획을 짜기....신체의 각 부분을 움직이는 관점에서 전체 계획 문제 등....미숙

일반적으로 AI는 한 가지 추상화 수준으로만 계획을 세울 수 있다. 문제를 전반적으로 관리하기 쉽게 만들기 위해 AI가 '계층적으로' 사고하게 하거나 문제의 일부를 추상화 또는 변환하는 다양한 방식을 선택하게 하는 것은 어려운 일이다.

 

감정적/사회적 통찰이 부족하다.

상대방의 느낌을 짐작할  때 필요한 모든 추론 작업....그런 추론을 알고리듬에서 재현하기란 쉬운 일이 아니다.

 

일반적으로 몇 가지 사례만 가지고 학습하지 못한다.

AI는 여전히 '원샷 학습(one shot learning)'(단일한 데이터 학습) 또는 '퓨샷 학습(few-shot learning)(소수의 데이터 학습)에 어려움을 겪는다.

 

데이터의 입수 가능성과 품질은 오늘날  AI 생태계에서 강력한 (그리고 비용이 많이 드는) 병목 현상을 유발하는 문제다.

 

물리적 세상과의 상호작용이 서툴다.

대부분의 로봇은 여전히 숟가락같은 작은 문체를 잡는 일에 서툴다.

 

상황 변화에 취약하다.

오늘날 AI알고리듬은 구조화되고 반복적인 환경에서 잘 작동한다는 것이다. 환경의 예측 가능성이 높아질수록 AI가 인간보다 더 나은 성능을 발휘할 가능성이 높아진다....

반면 과제를 수행해야 할 환경이 덜 구조화되어 있거나 가변적일수록 AI의 성능도 저하된다. 세상에 대한 기본적인 지식과 상식이 없다면 그리고 원칙에 입각한 추상적인 추론 능력이 없다면 수많은 데이터의 연관성망을 기반으로한 학습은 취약하기 마련이다.

 

해석하는 데 어려움을 겪는다.

 

AI가 하지 못하는 일을 알아내는 것이 갈수록 어려워지고 있다. 

기술이 워낙 급격하게 발전한 덕분에 어떤 AI는 적어도 한계가 없는 것처럼 보이게 하는 일에 대단히 능숙해졌다.

 

챗봇.....감정 지능이나 사회 지능과 매우 유사해 보인다. 하지만 실제로 창의적, 계층적 계획, 사회 지능 등의 특성을 가지고 있을까?

위의 모형들은 그저 훌륭한 예측 기계일 뿐이다. 생성된 문장에 언급된 중요한 개념을 '이해'하는 능력은 모형 구조에 내장되어 있지 않다.

학습된 텍스트 속 단어들 간의 상관관계에 대한 통계적 지식이 충분한 덕분에 그럴듯한 말을 내뱉을 따름이다.

 

인간은 실제 세계에서 의미를 갖는 개념, 즉 범주와 상황 및 사건과 같은 개념에 대한 인과적 모형을 사용할 수 있다. 

우리는 이를 '정신 모형(mental model)'작동 방식이라 부른다....

AI는 학습한 통계적 상관관계를 연산 능력 덕분에 활용할 수 있다. 이를 '통계적 상관관계(stastistical correlation)접근법'이라고 부를 것이다.

 

대형언어모델이 무엇을 이해하는지 또는 어떤 방식으로 이해하는지에 관하여 적절하게 고찰할 방법이 없다.

 

 

(오늘날 AI는 누가 만들고 있을까?)

 

AI 시스템은 최소한 세 단계를 거쳐 만들어진다.

 

1) AI 알고리듬을 개발하는 것

AI를 의도된 방식으로 작동하기 위해 어떤 기능과 논리를 데이터에 적용할지 설명해준다.

 

2)  AI모형을 훈련

신중하게 선택한 데이터를 AI 알고리듬에 통과시킴으로써 훈련

AI모형은 알고리듬이 실제로 학습한 내용을 나타내며, AI가 어떤 요소를 어떻게 고려할지에 대한 윤곽을 잡아준다.

 

3) AI제품 개발

특정 목적을 위해 훈련되고 AI모형 및 알고리듬과 상호작용하게 해주는 복합적인 경험, 인터페이스, 혹은 장치를 의미한다. 

 

(2. 인공지능은 안전할 수 있을까?)

 

오늘날 AI를 둘어싼 안전 문제

 

(지능이 있다고 해서 실수하지 않는다는 뜻은 아니다. ('AI의 실수')

 

(심지어 실수를 저지를 때조차 AI를 너무 많이 신뢰한다. ('지나친 신뢰')

 

(AI의 실수 가능성은 인간 의사결정자의 주의를 분산시킨다. ('인간의 주의 분산')

 

(AI사용자와 감독자도 실수를 저지를 수 있다. ('인간의 실수')

 

(AI가 성공함에 따라 인간 전문가의 숙련도가 저하될 수 있다. ('숙련도 저하' 또는 '탈숙련화(deskilling)')

 

(감지되지 않은 AI편향은 특정 집단의 삶의 질에 큰 영향을 미친다. ('해악 편향')

 

(AI는 나쁜 의도를 실현 가능하게 한다. ('유해한 집단의 영향력 강화')

 

(AI는 대규모로 피해를 입힌느 새로운 방식을 가능케 한다. ('새로운 유형의 해악')

 

(AI가 다른 AI에 너무 신속하게 반응해서 통제할 수 없다.('AI-AI 상호작용')

 

(AI는 심리적 거리감을 조장한다.('AI를 매개초 한 비인간화')

 

 

[ 자평 ]

 

읽어야 하는 책이지만, 이런 내용에 누가 지금 이렇게 까지 고민을 할까 싶다.책의 내용이 아니라, 세상의 현실이...ㅠ