좀 이상하지만 재미있는 녀석들 by 저넬 셰인

[ 밑줄/연결 ]

 

가석방 여부, 대출 심사, 이력서 검토 등에서, 인간의 의사 결정을 대체하려고 도입한 인공지능은 불편부당하기는커녕 인간 못지 않게, 때로는 더 심한 선입견을 가질 수 있다.

 

미래의 AI가 C-3PO보다는 곤충 때에 가까운 이유를 알아볼 것이다.

 

AI는 시행착오를 통해 목표에 도달하는 데 도움을 주는 규칙들을 만들어낸다.

 

(AI 실패의 네 가지 징후)

(경고 신호 1: 문제가 너무 어렵다)

좋은 사람을 채용하기는 정말로 어렵다. 인간인 우리조차 훌륭한 지원자를 알아보기 쉽지 않다.

 

(경고 신호 2: 문제가 우리 생각과 다르다)

'최고의 지원자를 찾아달라'는 게 아니라는 점이다. 우리가 요구하는 내용은 '인간인 채용 담당 매니저가 과거에 좋아했던 사람들과 가장 닮은 지원자를 찾아달라'는 것이다.

 

(경고 신호 3: 손쉬운 편법이 있다)

만일 우리가 좋은 지원자라고 준 자료의 사진이 동일한 카메라를 이용해 촬영된 것이라면, AI는 카메라의 상위 데이터를 읽는 법을 배워서 그것과 동일한 카메라로 사진을 찍은 지원자만 통과시킬지도 모른다. 

AI는 언제나 손쉬운 편법을 사용한다.  AI에게는 그게 가장 훌륭한 방법이기 때문이다!

 

(경고 신호 4: AI가 학습하려고 한 데이터에 문제가 있다)

흠이 있는 데이터는 AI를  순환논리에 빠뜨리거나 엉뚱한 방향으로 흘러가게 만들 것이다. 많은 경우 우리가 주는 사례 데이터가 AI에게는 풀어야 할 '문제'가 되기 때문에 형편없는 데이터가 형편없는 해답을 내놓는 것은 하나도 이상할 게 없다.

 

운전이 오늘날의 AI가 해결할 수 있을 만큼 충분히 좁은 과제인가, 아니면 앞서 이야기했던 인간 수준의 범용 AI가 필요한 과제인가 하는 문제는 아직도 결론이 나지 않았다.

 

인간의 뉴런은 그 하나하나가 여러 층을 가진 온전한 인공 신경망 하나라고 볼 수 있을 정도다. 그러니까 인간의 뇌는 860억 개의 뉴런으로 만들어진 신경망이 아니라 860억 개의 신경망으로 이루어진 신경망에 가깝다.

 

다시 말해서 버추얼 챗봇은 모를 때도 답을 한다.

 

AI가 건강한 폐 사진과  병에 걸린 폐 사진을 분류할 수 있다고 해도, 여전히 폐가 어떻게 작동하는지, 크기는 얼마나 되는지, 심지어 폐가 인간 몸속에 있는지조차 모를 수 있다. 인간이 무엇인지는 차치하더라도 말이다.

 

기계학습 알고리즘을 만드는 프로그래머의 정말 중요한 임무 가운데 하나는, 알고리즘이 풀려고 노력해야 할 문제가 무엇인지를 구체적이고도 정확하게 규정하는 것이다. 다시 말해, 보상함수를 잘 정하는 것이다.

 

AI는 우리가 AI를 위해 만들어놓은 매트릭스 안에서 학습한다. 그리고 이 매트릭스에는 결함이 있다.

 

종종 나는 우리가 시뮬레이션 속에 살고 있는 게 아니라는 가장 확실한 증거는 '만약에 이곳이 시뮬레이션 속이라면, 어느 유기체가 이미 시뮬레이션에 포함된 오류를 활용하는 법을 학습했을 것'이라는 생각을 한다.

 

우리가 몇 안 되는 사례를 변형해서 문제를 해결하려고 한다면, AI는 결국 그 몇 안되는 사례에만 적용되는 해결책을 제시할지도 모른다. 이게 바로 AI분야의 크나큰 골치거리인 '과적합' 문제다.

 

시뮬레이션에서만 학습하거나 시뮬레이션을 거친 데이터만을 학습한 알고리즘은 과적합에 특히 취약하다. 기계학습 알고리즘의 전략이 시뮬레이션과 현실 모두에서 효과를 낼 만큼 상세한 시뮬레이션을 만드는 것은 몹시 힘들다고 말한 것을 기억해 보라. 

 

문제는 컴파스 알고리즘이 학습한 데이터가 수백 년간 지속된 미국사법 시스템의 구조적인 인종 편견의 산물이었다는 점이다.

 

만약 알고리즘이 이미 해당 회사에서 가장 성공적인 직원들의 이력서와 비슷한 이력서를 선호하도록 훈련한다면, 그리고 직장 내 다양성이 결여되어 있거나 실적 평가에서 젠더 편견을 보정할 수 있는 장치가 없다면, 역효과를 낼 수 있다. 

 

단일한 과제를 처리하는 수없이 많은 알고리즘들이 마치 개미처럼 서로 협동할 수 있다면, 상호작용을 통해 복잡한 문제도 해결 할 수 있을지 모른다.

 

알고리즘의 성공 여부에 왜 알고리즘의 디자인보다 훈련용 데이터가 휠씬 중요한지는 분명치 않다. 이것은 약간 걱정되는 부분이다.

 

AI가 인간 수준의 결과물을 내놓을 수 있는 경우는 아주 좁고 제한된 상황일 때 뿐이라고 이야기했다.

 

AI는 한꺼번에 많은 것을 기억할 필요가 없을 때 가장 잘 작동한다는 점을 기억할 것이다.

 

예측 가능한 미래에 AI가 위험해질 수 있는 이유는 너무 똑똑해서가 아니라, 충분히 똑똑하지 않기 때문일 것이다.

 

 

[ 자평 ]  경험을 한 사람이 생각을 가지고 정리를 한다면...이런 글이 된다. 

 

1년 만에 다시 읽어 봐도 경험있는 전문강이자, 훌륭한 글쟁이자 좋은 Communicator가 쓴 좋은 책이다.

 

기본적으로 자넬 셰인 (Janelle Shane)이라 저자는 컴퓨터 과학자로서 그 사람 자체가 경험과 지식이 있다. 

자신의 유명 블로그 〈AI 위어드니스〉에서 AI 전반에 관해, 또 인간을 오해하는 수많은 알고리즘에 관해 글을 쓰고 있는 것으로 보아 기술을 사회적으로 해석하는 자신만의 관점이 있다.

 

또한 AI에 대한 정말 쉬운 비유와 설명은 이 분이 글재주가 있음을 보여 준다.

 

AI Weirdness

AI Weirdness

저자는 〈패스트 컴퍼니〉에서 선정한 ‘비즈니스 분야의 가장 창의적인 100인’에 선정되었고, 2019년 TED 강연자라고 하는데 그럴 만 한다.

 

Janelle Shane: The danger of AI is weirder than you think | TED Talk

The danger of AI is weirder than you think

 

저자의 다음 책이 기다려진다.