생성형 AI는 어떤 미래를 만드는가 by 제리 카플란(Jerry Kaplan)

[ 밑줄/연결 ]

 

 

(들어가며_마침내 초지능의 시대가 열렸는가)

 

일반적인 설명은 LLM이 단지 통계적인 단어 예측을 한다는 것이다. 이들은 사용자가 제공한 맥락을 고려해 다음에 나올 가능성이 가장 큰 단어를 선택한다. 하지만 이는 지나치게 단순화된 설명이며....

 

사용자의 언어로 편리하게 표현되는 이들의 답변은 엄청난 개인적 지식에서 비롯되는 것이 아니라 데이터베이스에 반영된 인류 경험의 많은 부분에서 비롯된다.

 

생성형 AI는 카메라나 마이크 같은 실제 세계의 기기로부터 직접 학습해 인간이 만든 콘텐츠에 대한 의존도를 낮출 것이다.

 

생성형 AI는 언젠가, 아마도 머지않아 내부 동작을 스스로 점검할 수 있게 될 것이다. 

우리가 생각하는 동안 뇌를 시각화하는 것과 비슷한 이 능력은 이들이 자신의 설계 사항을 개선하는 데 도움이 될 것이다.

----> 자기 지시, 자기 참조...되먹임고리....의식으로는 첫 걸음????

-----> 옮긴이는 뇌의 시각화를 '뇌PET, fMRI 같은 실제 뇌 활동을 측정하는 기술을 말한다'고 추가 옮겼다. 나는 저자의 의도가 PET나 fMRI가 아니라 뇌 자체가 자신을 시뮬레이션하고 모델화, 시각화하는 것을 말하는 것이라고 본다. 외부 시각화가 아니라 내부가 내부를 시각화하는 것...호프테스더ㄱ 말하는 '이상한 고리' 

 

호프스태터 새책『나는 이상한 고리다 I Am a Strange Loop』드디어 출간! - 배움터 (학술토론) - 한국인지과학학생회

호프스태터 새책『나는 이상한 고리다 I Am a Strange Loop』드디어 출간!

 

 

생성형 AI는 보상의 차이를 줄여 소득 불균형을 해소하는 데 도움이 될 수 있다. 

 

우리는 곧 기계가 우리의 글이 아닌 서로를 위해 글을 읽고 쓰는 기이한 세상에서 살 게 될 것이며, 알고리즘에 의존해 관심을 둬야 할 것과 버려야 할 것을 결정하게 될 것

 

 

(2장. 생성형 AI란 무엇인가)

 

시퀀스에서 다음 단어를 통계적으로 예측하는 것과 시퀀스를 의미가 반영된 그럴듯한 표현으로 변환(임베딩)한 후 답변의 의미를 선택하고 그 의미를 다시 단어로 변환하는 것은 전혀 다른 문제다. 

 

신경망은 원래 무언가를 분간하는 분류 문제를 푸는 데 적용되었다. 예를 들면 어떤 사진을 입력하면 그것이 개인지 고양이인지 판단하는 것...

 

임베딩은 주어진 단어를 특별한 속성을 가진 벡터(정렬된 숫자 목록)로 변환한다.

이때 비슷한 단어들은 비슷한 벡터로 표현된다.

 

단어 임베딩은 단어 연관성에 관한 통계적 측정치로 표현되는 고유의 어휘 목록을 만든다.

 

모든 단어들을 한꺼번에 살펴보고 각각의 단어 쌍에 대해 '주의력 점수'(attention score)를 계산한다.

주의력 점수는 문장 속 각 단어가 다른 모든 단어의 해석에 얼마나 많은 영향을 미치는지를 결정한다. 

 

트랜스포머는 입력된 각각의 단어를 대상으로 attention mechanism을 사용해 앞 내용의 맥락에서 해당 단어의 의미를 이해하는 데 가장 관련성이 높은 단어에 집중한다. (가능한 경우 일부 LLM은 특정 단어 뒤에 오는 단어들의 문맥을 포함한다). 그리고 이 가장 관련성이 높은 단어들에 대한 임베딩을 사용해 현재 단어에 대한 임베딩을 조정한다. 

 

 

 

LLM은 단어와 언어에만 국한되지 않으며, 실제로는 모든 유형의 토큰화된 정보에도 적용될 수 있다....

단어, 이미지, 소리와 같은 많은 형태의 유용한 정보도 토큰으로 변환될 수 있다.

 

미래의 LLM은 우리가 이해는 커녕 상상할 수 없는 방식으로 세상에 대해 추론할 수 있도 있을 것이며, 그 결과는 말 그대로 세곌ㄹ 뒤흔들 수 있다.

 

머지않아 우리는 우리가 현재 관찰할 수 없는 데이터(인터넷을 통해 전송되는 데이터, 무선 신호, 차량 흐름 감지기, 레이더, 풍속계, 모든 상상할 수 있는 종류의 환경 센서에서 생성되는 데이터 등)에 생성형 AI를 직접 연결할 수 있게 될 것이다. 

이들은 우리가 스스로 인식하거나 처리할 수 없어 현재는 볼 수 없는 이러한 데이터로부터 실질적인 통찰을 얻을 수 있을 것이다.

 

전형적인 실리콘밸리 선임 SW 엔지니어 한 명에 드는 총비용(모든 비용 포함)은 하루에 약 1,200달러다. 그에 비해 오늘날 LLM이 비슷한 품질의 코드를 100줄 작성하는 데 드는 비용은 하루에 12센트뿐이다. 자그만치 1만 배의 차이다.

 

분명히 자동화는 노동자를 대체한다. 중요한 것은 바로 이것, 자동화가 노동을 자본으로 대체한다는 것이다.

 

컴퓨터과학자 애드 프레드킨(Ed Fredkin)은 이렇게 말했다.

"분명한 지능을 갖춘 기계가 나타난다면, 그들은 침팬지를 지배하거나 다람쥐에게 견과류를 빼앗는 데 관심이 없는 것만큼 우리의 장난감을 훔치거나 우리를 지배하는 데도 관심이 없을 것이다."

 

컴퓨터가 생각할 수 있을까?

LLM의 경우도 마찬가지다. 사용자의 생각에 영향을 미치기 위한 응답의 형태로 기호(사용자의 말)들이 입력되고, 처리되고, 출력된다....LLM의 답변은 사용자에게 의도한 영향을 미치면 맞는 것이고 그렇지 않으면 틀린 것이다. 단순히 의미 없는 기호들을 뒤섞어 놓은 것이 아니다....LLM의 답변은 완전한 뜻에서 의미가 있다(LLM은 현실 세계와 연결되어 있다)....

"응, 버지니아, 컴퓨터는 정말로 생각할 수 있어."

 

컴퓨터가 의식을 가질 수 있을까?

내 개인적인 의견은 의식, 또는 더 일반적으로 주관적인 경험이라는 개념은 적어도 지금까지는 그야말로 기계에는 적용되지 않았다.

 

 

[ 자평 ]

 

원서는 <Generative Artificial Intelligence: What Everyone Needs to Know>로 2024년 2월 출간되었다. 

저자 제리 카플란(Jerry Kaplan) 실리콘밸리에서 4개의 스타트업을 창업해 본 경험도 있는 스탠퍼드 대학교 교수라 한다.