마스터 알고리즘 by 페드로 도밍고스

[ 느낀 점/배운 점 ]

 

부제는 ' 머신러닝은 우리의 미래를 어떻게 바꾸는가?'

           '완벽한 마스터 알고리즘이 탄생하는 순간,

           세상 모든 것이 재편될 것이다!'

 

저자는 데이터과학 분야의 최고 영예인 SIGKDD 혁신상을 2년 연속 수상한 분.. SIGKDD는 the Association for Computing Machinery's Special Interest Group on Knowledge Discovery and Data Mining 라고 한다.

 

저자의 화려한 약력보다 관심을 끈 것은

저자의 핵심 연구 과제/관심사가 '논리와 확률을 통합하는 것'이라고 한다.

이 분야를 전공을 하지 않아서 모르겠는다 수학이나 논리학에

이것을 융합하고 하는 노력 이 있나 싶기고 하고

감탄이 절로 나오는 주제 였다.

( 한번 파봐야 겠다.)

 

이 다섯가지 분야에 두루 정통한 사람이 있을까 싶지만.

이 정도로 이 다섯 분야를 설명할 수 있는 사람도 많지 않을까 싶다.

 

내가 읽고 소장하고 읽는 책부터 출판된 날짜와

그 내용의 난이도 순으로 배치를 해 보았다.

 

우선 가장 오래된 책은 (1990년대 초) 이인식교수의 '사람과 컴퓨터'..

그 때 느낌은 이것이 무슨 소리인가? .이걸 다 아는 사람이 있나 싶은 감탄...

간만에 펼쳐 보았지만 지금 봐도 무슨 소리인지....가물 가물..

하지만 1992년이라면 인터넷도 없을 시기인데 이런 엄청난 논문/책을

어디서 확보해서 어떻게 이렇게 정리를 했나.....싶기도 한 명저이다.

 

다만 딥 마인드사 설립이 2004년, 제프리 힌튼 교수가 딥 러닝 알고리즘을 획기적으로 개선한 것이 2006년이라...이인식교수님이 1990년에 쓴 이후 발전된 사항들을 더 넣어서 책을 개정해 주시면 정말 좋을텐데.....

(이인식씨는 알파고/이세돌 사태가 있은 후 알파고가 인공지능이 아니라는

인터뷰를 한 적이 있다...아직 정정하시니 후학들을 위해서 개정판을 좀 내시면...)

 

아래 수준에 책들은 인문학 책이다.

인공지능의 사칙연산도 안되는 내용으로 읽어두면 좋지만,

읽었다고 뭘 안다고 깐죽대면 안된다.

책이 안 좋다는 것이 아니고 저자가 인공지능은 '인'자도 모르는 분들을 위해

쓴 책이라는 것이다. 옹알이에 '옹'도 안되는 수준의 독자를 위한 책....

 

같은 인문학으로 분류되는 류라도

아래 책들은 약간의 난이도가 있고....흐름이 더 깊다.

이런 류의 책은 인문학적인 관점에서도 통찰급에 속한다.

이 정도는 써 줘야 책 찍어내는데 희생된 나무에게 미안하지 않은 책이다.

'로봇 공화국...'저자는 국내 SF작가라고 하는데...대단한 내공임을 알 수 있다.

인공지능의 역사란 측면에서 읽어도 좋지만,

( 앞의 책 '인공지능은 뇌를 닮아 가는가?'가 바로 이런 책이다.)

 

앞으로의 예견이라는 측면에서 읽어도 좋다..

역시 인문학의 핵심적 힘은 상상의 힘이다.

 

파이널 인벤션은 원서롤 읽는 중에 번역이 되었다.

번역서를 사기가 아까워서 원서로 그냥 읽고 있는데...그냥 읽어야 하는 책이다.

 

인공지능이야기는 상당히 오래 '존 카스티'라는 수학분야 저술가가 쓴

꽤 오래된 (1999년) 책이다.

비트겐슈타인, 홀데인, 스노우, 튜링, 슈뢰딩거가

기계가 생각할 수 있는가?를 주제로 가상의 대화를 하는 식으로 기술한 책이다.

 

 

(이인식님의 추천도 그렇고)

인문학도가 읽을 수 있는 이 분야의 마지막 갑은

로저 펜로즈와 한스 모라벡, 마빈 민스키의 책이다.......

 

원서를 기준으로 한스 모라벡의 마음의 아이들 (1988년)

 

 

로저 펜로즈의 황제의 새마음 (1989년)

 

로저 펜로즈의 마음의 그림자 (1994년)

로저 펜로즈의 우주, 양자, 마음 (1997년)

 

참고로 우주, 양자, 마음의 역자 중 한 분이 2017년 2월 현재

그렇게 유명세를 타고 있는 최경희....그 분이 바로 이 분이다.

 

다른 참고로 한국분으로 (뭐하시는 분인지는 모르겠음)

이 분야에 내공이 깊어 보이는 분의 블러그가 있어.....

http://blog.aladin.co.kr/qualia

 

 

이 정도를 보고 나면 이제 기계학습/딥러닝 등을 도대체 어떻게 만들었고

어떻게 작동을 하는 지 그 블랙박스 안이 궁금해 진다.

 

그래서 수학이 들어가 있거나 프로그랭 언어가 들어가 있는 분야로

책 선택을 옮겨야 한다.

 

개인적으로 가장 Compact하고 가장 깔끔하지만

다는 못 알아 먹은 책.... 교보에서 e-book으로 무료로 풀었던

곽동민, 박세원, 이한남 공저 'Machine Learning to Deep Learning'이다.

(개념 -> 수학 -> 프로그램 알고리즘이 깔끔하게 정리가 되어 있다.)

 

좀 더 수학적인 면과 프로그래밍 적인 면 (적어도 C 프로그램 언어를 읽을 수 있다면)

이 정도의 책은 2-3번 반복하면 이해할 수는 있다.

 

머신러닝이 어찌 되었던 나중에 그 알고리즘을 API로 불러서 잘 사용하면 된다고

생각한다면 '가장 빨리 만나는 딥러닝 Caffe'정도 읽으면 될 듯 하다.

VM깔고 Caffe한 번 돌려보면...아 이렇게 쉽게 도는 구나...를 알 수 있다.  

 

 

개인적으로 좋아하는 작가인 신승환씨가 쓴 확률적 프로그래 언어 Church의 개론서도 인문계 출신으로 수학의 정석을 좀 깔짝 거린 적이 있다면 읽을 수는 있다.

(마스터 알고리즘에서 말하는 베이지안 주의적인 접근법인 것 같다.)

 

 

읽다가 포기했지만 김의중씨의 '인공지능, 머신러닝, 딥러닝 입문'이나

( 이 책을 읽으면 왜 핵심이 수학인가?를 알 수 있다.)

 

'만물의 공식'과 같이 읽어야 한다.

( 알고리즘이라는 것이 얼마나 우리 사회에 깊숙히 쓰이는 지 알 수 있다.)

 

 

다음 노리고 있는 것이 이 책이다.

그나마 친숙한 파이썬으로 어떻게 구현이 되는지 함 알아보고 싶다.

 

[ 주요 내용 ]

 

ㅇ 과학의 웅대한 목표는 가장 많은 실험적 사실을

    가장 적은 가설이나 공리를 통해 논리적으로 추론하는 것이다.

    - 알베르트 아인슈타인 -

 

ㅇ 문명은 우리가 생각하지 않고도 수행할 수 있는

    중요한 활동의 수를 늘림으로써 진보한다.

    - 알프레드 노스 화이트헤드 -

 

ㅇ 구글 무인 자동차는 도로 주행을 자신에게 가르쳤다. 어느 기술자도 '가'지점에서 '나'지점으로 가는 방법을 하나 하나 차량에게 알려 주는 알고리즘을 작성하지 않았다. 차량 스스로 운전하도록 작동하는 프로그램을 작성하는 방법을 아무도 알지 못하며 알 필요도 없는 까닭은 차량에 장착된 머신러닝 알고리즘이 운전자를 관찰하여 운전 프로그램을 만들어 내기 때문이다.

 

ㅇ 자기 자신을 만드는 기술인 머신러닝은 이 세상에서 완전히 새로운 존재다... 머신 러닝 알고리즘은 다른 인공물을 설계하는 인공물이다.

 

ㅇ 머신러닝은 데이터로 알고리즘을 만든다. 데이터가 많을수록 알고리즘은 복잡해 질 수 있다.....이런 기술들이 작동하는 까닭은 머신러닝이 하는 일이 근본적으로 예측이기 때문이다.

 

ㅇ 당신은 이해하지 못하는 것을 관리할 수 없다. 당신이 시민으로서, 전문가로서 그리고 행복을 추구하는 인간으로서 머신러닝을 이해해야 하는 이유다.....심리학자 돈 노먼 (Don Norman)은 기술을 효과적으로 사용하려면 알아야 하는 개략적인 지식을 표현하기 위해 '개념 모형' (Conceptual model)이라는 용어를 만들었다.

 

ㅇ 머신러닝은 우리 모두에게 중요한 질문의 대답이다. 즉 우리는 어떻게 배우는가? 더 나은 방법이 있는가? 우리는 무엇을 예측할 수 있는가? 우리가 배운 것은 신뢰할 만한가?

 

ㅇ 머신러닝의 다섯 종족

    1) 기호주의자: 학습을 연역의 역순으로 보며 철학과 심리학, 논리학에서

                       아이디어를 얻는다.

                       -> 기호주의 마스터 알고리즘은 '역연역법'

    2) 연결주의자: 두뇌를 분석하고 모방하며 신경과학과 물리학에서

                       영감을 얻는다.

                       -> 연결주의 마스터 알고리즘은 '역전파'

    3) 진화주의자: 컴퓨터에서 진화를 모의시험하며 유전학과 생물학에 의존

                       -> 진화주의의 마스터 알고리즘은 '유전자 프로그래밍'

    4) 베이즈주의자: 학습이 확률 추론의 한 형태라고 믿으며 통계학에 뿌리를 둠

                       -> 베이즈주의 마스터 알고리즘은 '베이즈 추정'

    5) 유추주의자: 유사성 판단을 근거로 추정하면서 배우며 심리학과 수학적

                       최적화의 영향을 받음

                       -> 유추주의 마스터 알고리즘은 'Support Vector Machine'

 

ㅇ 마스터 알고리즘: 이론상으로 어는 영역의 데이티에서도 지식을 발견해 내는 범용 학습 알고리즘 (General-purpose Learner)....다섯 종족은 각자 자신만의 마스터 알고르짐이 있음.

 

ㅇ 최종 마스터 알고리즘이 존재한다면 그것은 세상의 모든 지식, 즉 과거, 현재, 미래의 모든 지식을 data에서 얻어 낼 것....

 

ㅇ 알고리즘이란 컴퓨터가 수행할 일을 순서대로 알려주는 명령어의 집합....컴퓨터는 트랜지스터라 불리는 소형 스위치 수십억 개로 구성되고, 알고리즘은 이들 스위치를 1초에 수십억 번씩 켜고 끈다.

 

ㅇ 이미 작성된 알고리즘을 이용하고 구성 요소로 골라 쓰는 알고리즘이 엄청나게 많이 만들어졌다.....알고리즘으로 표현할 수 없으면 진정으로 이해한 게 아니라는 말이 있다. 리처드 파인만은 "내가 창조하지 못하는 것은 이해하지 못한다."라고 말했다.

 

ㅇ 과학자가 이론을 만들고 기술자가 장치를 만든다면 컴퓨터과학자는 이론이면서 장치인 알고리즘을 만든다.

 

ㅇ 알고리즘이란 에덴동산에 사는 뱀 세 마리..

    1) 공간 복잡성: 알고리즘이 컴퓨터 저장 장소에 보관할 정보량의 크기

                         컴퓨터가 제공할 수 있는 기억 장소보다 더 큰 기억 장소가

                         필요하면 이 알고리즘은 사용할 수 없으며 포기해야 함

    2) 시간 복잡성: 알고리즘을 수행하는데 걸리는 시간

                        원하는 결과를 얻기까지 알고리즘이 트랜지스터를 사용하는 횟수

                        기다릴 수 있는 시간보다 알고리즘을 수행하는 시간이 더 길면

                        알고리즘은 쓸모가 없음

    3) 사람 복잡성: 알고리즘이 너무 복잡하게 뒤얽혀서 인간 두뇌가 이해하지

                        못하거나, 알고리즘의 여러 부분 사이에서 일어나는 상호작용이

                        너무 많고 복잡하면 오류가 슬금슬금 생기기 시작하는데,

                        사람이 발견하지 못해 고치지 못할 경우 알고리즘은 우리가

                        원하는 동작을 수행하지 않음

 

ㅇ 모든 알고리즘은 입력과 출력이 있다. 데이터를 컴퓨터에 넣으면 알고리즘이 처리하여 결과를 출력한다. 머신러닝은 이 과정을 바꾸었다.데이터와 원하는 결과를 넣어면 데이터를 결과로 바꿔 주는 알고리즘을 내놓는다. 머신러닝은 학습자라고도 알려져 있는데  다른 알고리즘을 만들어 내는 알고리즘이다. 머신러닝을 통해 컴퓨터가 스스로 프로그램을 작성하기 때문에 사람은 프로그램을 작성할 필요가 없다.

 

ㅇ 우리는 운전하는 방법과 손글씨를 판독할 수 있는데 이러한 기술은 무의식으로 발휘된다. 우리가 어떻게 이런 일을 하는지 컴퓨터에게 설명하지 못한다.

 

ㅇ 머신러닝은 씨앗이고 데이터는 토양, 학습된 프로그램은 성장한 식물이다. 머신러닝 전문가는 농부와 같이 씨를 부리고 물과 비료를 주고 농작물의 건강 상태를 늘 살펴보지만 그 외에는 한발 물러나 식물 스스로 자라게 한다.

 

ㅇ 첫째, 데이터를 더 많이 얻을수록 더 많이 배울 수 있다. 데이터가 없다면? 배울 것이 없다.....기하급수적으로 늘어나는 산더미 같은 데이터 때문에 머신러닝이 모든 곳에서 출현한다.

 

ㅇ 둘째, 머신러닝은 복잡한 괴물을 베어내는 칼이다. 데이터를 충분히 넣으면 단지 몇 줄의 머신러닝 프로그램이 수백만 줄의 프로그램을 쉽게 생성하고 이런 작업을 반복하여 여러 가지 문제를 해결할 수 있다.

 

ㅇ 제곱근이 제곱의 역이고 적분이 미분의 역인 것처럼 머신러닝은 프로그램의 역이라고 생각할 수 있다...."어떤 수를 제곱하면 되는가?"라고 질문하듯이 "이 결과를 출력하는 알고리즘은 무엇인가? 라고 물을 수 있다.

 

ㅇ 머신러닝에서 지식은 자주 통계 모형의 형식을 띤다. 지식은 대부분 통계의 특성이 있기 때문이다....기술은 자주 절차라는 형식을 띤다.

 

ㅇ 인공 지능의 목표는 컴퓨터를 가르쳐서 지금은 인간이 하는 일을 더 잘하게 하는 것이고, 이를 달성하는 데 학습이 가장 중요한 요소다.....정보 처리 생태계에서 머신러닝은 최상위 포식자다.

 

ㅇ 전통적으로 컴퓨터 과학에서는 결정론적 사고가 최고이지만

    머신러닝에서는 통계적 사고가 필요하다.

    예를 들어 전자 우편을 스팸으로 인식하는 규칙이 99% 정확하다면,

    결정론적 사고는 그 규칙에 결함이 있다고 판단하지만,

    통계적 사고는 당신이 할 수 있는 최선이고 충분히 유용할 거라고 판단한다.

 

ㅇ 산업혁명은 수공업을 자동화하고 정보혁명은 정신 노동을 자동화한 반면

    머신러닝은 자동화 자체를 자동화했다. 머신러닝이 없으면 프로그램 작성자는

    병목처럼 진보를 늦추는 주범이 된다.

 

ㅇ 컴퓨터에서 인터넷으로 그리고 머신러닝으로 발전한 것은 피할 수 없는 과정이다.

    컴퓨터로 인터넷이 가능했고 인터넷으로 데이터의 홍수와 무제한의 선택 문제가

    생겼다.머신러닝은 무제한의 선택 문제를 해결하고자 홍수 같은 데이터를

    처리한다.

 

ㅇ 아마존, 넷플렉스....머신러닝 알고리즘은 중개자....구글 검색 결과,,,,match.com...

    최종 선택은 당신의 몫이지만 99.9%는 머신러닝이 골라 놓은 것....

    한 기업의 성공과 실패는 머신러닝이 그 기업의 제품을 얼마나 좋아하는가에

    달려 있고, 전체 경제의 성공, 즉 사람들이 가장 좋은 가격으로 가장 좋은 상품을

    얻는 것은 머신러닝이 얼마나 훌륭한가에 달려 있다.

 

ㅇ 최선의 알고리즘과 최대의 데이터를 보유한 기업이 승리한다.

    가장 많은 고객을 보유한 회사가 가장 많은 데이터를 수집하고

    가장 좋은 모형을 학습하고 가장 많은 신규 고객을 얻으며,

    이러한 선순환이 계속 이어지는 것..

 

ㅇ 경쟁사는 없고 우리만 보유한 데이터는 무엇인가? 이것을 어떻게 이용할 것인가?

    우리는 없지만 경쟁사가 보유한 데이터는 무엇인가?

    DB가 없는 은행이 DB를 갖춘 은행과 경쟁할 수 없는 것과 똑같이

    머신러닝이 없는 회사는 머신러닝을 사용하는 회사를 따라잡을 수 없다.

 

ㅇ 과학자가 평생 동안 수백 개 정도의 가설을 세우고 시험한다면

    머신러닝 시스템은 같은 수의 가설을 1초도 안되는 시간에 처리한다.

    머신러닝은 발견을 자동화한다. 머신러닝이 사업을 혁신하는 것만큼

    과학도 혁신한다는 것은 놀라운 일이 아니다.

 

ㅇ 사회과학 연구가 그토록 힘든 싸움인 까닭도

    현상의 복잡도에 걸맞는 데이터가 있어야 한다는 조건 때문이다.

 

ㅇ 장기를 두는 프로그램은 신용카드 거래를 처리할 때는 소용이 없다.

    반면 학습에 필요한 적절한 데이터를 제공한다면 머시러닝은 같은

    알고리즘으로 두 가지 일을 할 수 있다.

    사실은 몇 안되는 알고리즘으로 머신러닝 응용 분야의 대다수를 해결한다.

 

ㅇ 예를 들면 짧은 방정식 하나로 표현할 수 있는 '나이브 베이즈'라는

    알고리즘....환자의 증상과 시험 결과, 특별한 조건의 보유 여부를 기록한

    DB가 있을 때 나이브 베이즈는 1초도 안되는 시간에 증상을 진단하는 법을

    배울 수 있다.

    최근접 이웃 찾기 알고리즘은 필기체 인식에서 로봇 팔을 조정하고

    당신이 좋아할 만한 책과 영화를 추천하는 일까지 거의 모든 분야에

    사용되어 왔다.

 

ㅇ 머신러닝은 보편적이다. 즉 당신이 적절한 데이터를 충분히 제공한다면

    머신러닝은 어떠한 기능이라도 임의적으로 가깝게 근사화할 수 있다.

    이 말은 어떤 것이라도 학습한다는 말의 수학적 표현이다.

    함정은 충분한 데이터가 무한대일 수 있다는 점이다.

 

ㅇ 보편적인 머신러닝을 발명하는 것은 우리 우주에서 가장 밑바닥에 있는 규칙성,

    즉 모든 현상에서 나타나는 규칙성을 발견하고 규칙성을 데이터와 연결하는

    효율적인 계산 방법을 찾아내는 것이다.

 

ㅇ 저자의 중심 가설...

    세상의 모든 지식, 즉 과거, 현재, 미래의 모든 지식은 단 하나의 보편적

    학습 알고리즘으로 데이터에서 얻어 낼 수 있다.

    저자는 이 머신러닝을 마스터 알고리즘이라 부른다.

 

ㅇ 마스터 알고리즘이 우리의 마지막 발명품인 까닭은

    한 번 발명된 이후에는 마스터 알고리즘이 발명 할 수 있는 다른 모든 것을

    발명해 나갈 것이기 때문임... 우리가 해야 할 일은 마스터 알고리즘에

    올바른 데이터를 충분히 제공하는 것 뿐임..

    마스터 알고리즘은 동영상 데이터를 제공하면 보는 법을 배운다.

    도서관을 제공하면 읽는 법을 배운다. 물리 실험 결과를 입력하면 물리 법칙

    을 찾아낸다. DNA 결정학 데이터를 제공하면 DNA의 구조를 발견한다.

 

ㅇ 시각 정보가 촉감 인식을 담당하는 체지각 피질로 새롭게 연결되면

    체지각 피질도 보는 법을 배운다. 다른 포유류도 이런 능력을 지니고 있다.

    맹인은 머리에 장착된 카메라에서 나오는 영상 신호를

    혀에 설치된 전극 배열로 보내는 방식을 이용하여 혀로 '보는 법'을

    배울 수 있다. 높은 전압은 밝은 화소를 나타내고 낮은 전압은 어두운 화소를

 

ㅇ 여러 감각에 할당된 뇌의 영역이 단지 눈이나 코, 귀 등 입력에 따라 구분될 뿐이며

    뇌는 전적으로 같은 학습 알고리즘을 사용한다는 증거다.

 

ㅇ 일정한 범위에서 각 부위의 대뇌 피질에 서로 다른 부분이 있지만 이 변화는

    다른 알고리즘이라기보다는 같은 알고리즘에 다른 변수나 다른 구성법이

    적용되기 때문에 발생하는 것으로 보인다.

 

ㅇ 기억은 함께 발화하는 신경세포 사이의 연결이 장기 전위 형성이라 알려진

    생화학 과정을 거치며 강화되어 생긴다.

 

ㅇ 대뇌 피질 일원성에 관한 다른 계통의 주장은 게놈의 빈약함을 근거로 삼는다.

    우리 두뇌의 연결 수는 게놈 속 염기 배열 숫자의 100만 배보다 크기 때문에

    게놈이 두뇌가 어떻게 연결되어야 하는지를 하나하나 정하기는 물리적으로 불가능

 

ㅇ 우리가 컴퓨터에 두뇌를 구현한다면 그 알고리즘은 우리가 배우는 모든 것을

    배울 수 있다. 그러므로 마스터 알고리즘을 발명하는 방법 가운데 가장 인기 있는

    길은 두뇌를 역설계하는 것, 즉 두뇌를 분석하여 모방하는 것이다.

    제프 호킨스는 '생각하는 뇌, 생각하는 기계'에서 이 방법을 시도했다.

 

ㅇ 우리는 아는데 두뇌는 배울 수 없는 것이 존재한다면 그것은

    진화를 통해서 배운 것이 분명하다.

 

ㅇ 자연 선택은 우리가 해답에 대한 많은 후보를 시도해 보고 그 중 가장 좋은 것을

    선택해서 변경하고 필요한 만큼 이 과정을 반복하여 문제를 푸는 기법인

    반복 탐색과 비슷하다는 말이다. 한마디로 진화란 알고리즘이다.

    찰스 배비지.."신이 창조한 것은 생물의 종이 아니라 생물의 종을 창조하는

    알고리즘이다."

 

ㅇ 무엇보다 간단하고 추상적인 수학 언어로 우리가 사는 무한히 복잡한 세상의

    아주 많은 부분을 정확하게 나타낼 수 있는 까닭은 무엇인가?

 

ㅇ 만델브로트 집합은 매우 단순하고 반복되는 과정에서 무궁무진하게 다양한

    형태가 어떻게 나오는가를 보여 주는 아름다운 사례다.

    만약 세상의 산과 강, 구름, 나무들이 모두 그런 과정의 결과라면 (프랙탈 기하학

    에서 이를 밝혔다.) 이런 과정들은 결과로부터 유도할 수 있는 단 하나의 원리에서

    단지 변수값만 다르게 하여 나타난 과정일 것이다.

 

ㅇ P와 NP문제는 컴퓨터 과학에서 가장 중요한 문제다.

    우리가 문제를 효율적으로 풀 수 있다면 이 문제는 P에 속하고,

    우리가 문제의 해답을 효율적으로 확인할 수 있으면 이 문제는 NP에 속한다.

    유명한 P=NP는 효율적으로 확인 가능한 문제를 효율적으로 풀 수 있는가라는

    질문이다.

 

ㅇ 당신이 우주가 멸망할 때까지도 문제의 해답을 확인할 수 없다면 문제를 푸는

    시도가 무슨 의미가 있겠는가?.......인공 지능은 NP-완전 문제에 발견적 해법 방법

    (복잡한 문제를 풀 때 시행착오를 반복 평가하여 자기 발견적으로 문제를 해결하는

    방법)을 찾는 능력을 의미하기도 한다.... NP-완전 외에도 컴퓨터가 존재하는 것

    자체가 마스터 알고리즘이 존재한다는 강력한 신호다.

 

ㅇ 논리적 연역으로 푸는 모든 인식 가능한 문제를 튜링 기계로 풀 수 있다.

    더욱이 보편적 튜링 기계라고 불리는 장치는 테이프에 문제의 자세한 설명을

    읽어서 어떤 것이라도 모의실험을 할 수 있다. 다시 말해 튜링 기계는 어떤 일도

    할 수 있도록 프로그램된다.

    학습 과정에서 튜링 기계가 연역을 수행한다면 마스터 알고리즘은 귀납을 수행함

    마스터 알고리즘은 예제로 주어진 입력-출력 행동 방식을 읽어서 다른 어떤

    알고리즘이라도 모의실험을 하도록 학습할 수 있다.

 

ㅇ 촘스키 교수는 머신러닝을 행동주의와 동일시하는 것 같다.

    행동주의는 동물의 행동을 보상에 대한 반응으로 설명한다. 하지만 머신러닝은

    행동주의가 아니다. 현대의 학습 알고리즘은 단지 자극과 반응의 상관관계 뿐

    아니라 풍부한 내적 표현도 배울 수 있다.

 

ㅇ 학습과 지식은 놀라울 정도로 미묘하게 뒤얽혀 있다.

    머신러닝은 확률을 말하고 지식공학자 측은 논리를 말한다.

 

ㅇ 머신러닝에 반대하는 의견은 "데이터는 인간의 직관을 대체할 수 없다."는 말이다.

    사실은 그 반대가 맞는 말이다. 인간의 직관은 데이터를 대체할 수 없다.

    직관은 사실을 모를 때 사용하는 것이고, 당신은 사실을 모르기 때문에 직관이

    소중하다.

 

ㅇ 데이터가 범람하면 증거와 직관의 경계선이 빠르게 이동하여

    증거의 영역이 넓어지고 있다....

    산업계에서는 이런 말이 있다. "최고 연봉을 받는 사람의 의견이 아닌 고객의 말에

    귀를 기울여라." 당신이 권위 있는 미래학자가 되고 싶다면 데이터를 활용하라.

    데이터와 싸우지 마라.

 

ㅇ  이사야 벌린이 인상 깊게 썼듯이 여우처럼 세세한 일을 많이 아는 사색가도 있고,

     고슴도치처럼 커다란 일 한 가지를 아는 사색가도 있다.

     머신러닝에도 똑같이 적용된다. 나는 마스터 알고리즘이 고슴도치이기를 바란다.

 

ㅇ  기술을 사용하기 위해 세부 사항까지 완벽하게 터득할 필요는 없어도  

     훌륭한 개념 모형은 확보해야 한다. 예를 들어 라디오의 작동 과정은 알지 못해도

     라디오 채널을 찾는 법이나 음량을 바꾸는 법은 알아야 한다.

 

 

ㅇ 먼저 당신이 머신러닝을 이해해야 한다. 내가 하는 일에서 머신러닝이 할 수 있는

    것은 무엇인고 할 수 없는 것은 무엇이며 내가 일을 더 잘하기 위해 어떻게

    머신러닝을 이용할 수 있을까를 이해해야 한다.....

    미래를 차지할 사람은 자신의 독특한 전문 지식을 머신러닝이 가장 잘 하는 것과

    결합하는 법을 매우 깊은 수준으로 이해하는 사람이다.

 

ㅇ 머신러닝이 아무리 좋다고 하더라도 사용할 데이터가 좋은 만큼만 머신러닝이

    좋아진다는 것을 인식하여 데이터를 제어하는 것이다.

    데이터를 지배하는 자가 머신러닝을 지배한다....

    당신에게 중요한 데이터를 제어할 방안을 적극적으로 찾아야만 한다.

 

ㅇ 이론이란 세상이 어떤 모습으로 가능할지에 대한 제약들의 집합이지

    세상에 대한 완전한 설명은 아니다. 완전한 설명을 얻으려면 이론과 데이터를

    결합해야 한다.....이론의 힘은 세상을 얼마나 간단하게 설명해 주는가에 달렸다.

 

ㅇ 지식은 일반적으로 내적 구조를 가진다. '모든 사람은 죽는다'라는 명제는

    사망 기록 70억 개보다 휠씬 간단 명료하다. 기억은 이런 수준의 지식을 우리에게

    주지 않는다.

 

ㅇ 주요 종족은 종족마다 핵심 믿음과 가장 관심 있게 다루는 특별한 문제가 있다.

 

    1) 기회주의자

        - 모든 지능을 기호를 다루는 활동으로 귀결 짓는다.

        - 수학자가 수식을 다른 수식으로 바꾸면서 방정식을 푸는 것과 같다.

        - 데이터와 함께 초기 지식이 필요하다.

        - 새로운 문제를 풀기 위하여 이미 존재하는 지식을 학습 과정에서 사용하는

          방법과 단편적인 여러 가지 지식을 합치는 방법을 알아냈다.

        - 연역을 최대한 보편적으로 만드는 역연역법을 사용

 

    2) 연결주의자

        - 학습은 두뇌가 하는 활동인 터, 우리가 해야 할 일은 두뇌를 역공학으로

          알아내는 것..

        - 두뇌는 신경세포의 연결 강도를 조절하여 학습,,,

        - 역전파법....시스템의 출력을 목표값과 비교하여 여러 층에 연결된 신경세포

          들의 연결 상태를 계속 바꾸어 시스템의 출력이 목표값에 더 가깝게 함

 

    3) 진화주의자

        - 모든 학습의 어머니는 자연 선택이라도 믿음

        - 자연선택을 컴퓨터에 모의실험하는 것이 전부

        - 핵심 과제는 학습하는 구조물

        - 유전자 프로그램을 사용, 자연이 생명체를 짝 지우고 점진적으로 발전시키는

          방식으로 컴퓨터 프로그램을 짝 지우고 발달시킴

 

    4) 베이즈주의자

        - 불확실성에 주목. 학습된 지식은 모두 불확실하며 학습 자체는 불확실한

          추론의 형태를 띔

         -불완전하고 서로 모순된 정보들을 흩어 버리지 않고 잘 다루는 방법을 찾는

          것이 과제

         - 해결책은 확률 추론이며 마스터 알고리즘은 베이지 저리와 그 정리의 파생

           수식

 

    5) 유추주의자

        - 머신러닝을 핵심은 상황들 사이의 유사성을 인식하여 다른 유사점들을 추론

          하는 것

        - 환자 둘이 비슷한 증상을 보인다면 그들은 같은 병에 걸렸을 것

        - 유추주의자의 마스터 알고리즘은 Support Vector Machine... 어떤 경험을

          기억할 것인지와 새로운 예측을 위해 그 경험들을 어떻게 결합할 것인가를

          파악함

 

ㅇ 합리주의자 vs 경험주의자

    - 합리주의자: 감각은 우리를 속이기 때문에 논리적 추론만이 지식에 도달하는

                       길이라고 믿음. 프랑스 철학...

                       데카르트, 스피노자, 라이프니츠

 

    - 경험주의자: 모든 추론은 틀릴 수 있으며 지식은 관찰과 실험에서 나와야만

                      하다고 믿는다....앵글로색슨족...

                      로크, 버클리, 흄 (기호주의자의 수호 성인)

 

ㅇ 컴퓨터 과학에서 이론가와 지식공학자가 합리주의자라면

    해커와 머신러닝 전문가는 경험주의자다.

 

ㅇ 합리주의자는 첫 행동을 개시하기 전에 모든 것을 계획한다.

    경험주의자는 여러 가지 시도를 해 보고 결과가 어떻게 나오는지 확인한다.

 

ㅇ '우리가 본 것에서 시작한 일반화를 보지 못한 것까지 적용하는 일을

     어떻게 정당화할 수 있을까?' 모든 머신러닝은 이 질문에 답하려는 시도라고

     할 수 있다.

 

ㅇ 머신러닝에서 가장 중요한 문제인 과적합 (Overfiltering. 학습 데이터에 대해

    과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상) 혹은 실제로

    존재하지 않는 환각 유형과 만날 것...

 

ㅇ 기호주의자에게 현자의 돌이란 바로 '지식'...흄은 기호주의자의 수호성인

 

ㅇ '우리가 본 것에서 시작한 일반화를 보지 못한 것까지 적용하는 일을

    어떻게 정당화할 수 있는가?

    모든 머신러닝은 이 질문에 답하려는 시도라고 할 수 있다.

    우리가 전에 본 적이 없는 경우에도 일반화하는 것이 머신러닝이 푸는 문제다.

 

ㅇ 미래가 과거의 같을 거라고 단순하게 가정하는 것은 어떤가?

    분명히 위험한 가정이다. (귀납론자 칠면조에게는 통하지 않았다.)

    반면에 이런 가정이 없으면 모든 지식은 불가능하고 삶도 불가능하다.

 

ㅇ '지식이 없는 학습 같은 것은 없다.'. 데이터만으로는 충분하지 않다.

    무에서 출발하면 다만 무에 도달할 뿐이다. 머신러닝은 지식 펌프여서

    데이터를 통해 많은 지식을 끄집어낼 수 있지만 그러기 위해서는

    먼저 펌프에 마중물을 부어야 한다.

    머신러닝은 수학자가 '불량 조건 문제'라 부르는 것으로

    여러 개의 해답만 존재할 수 있는 문제다.

    예를 들면 합하여 1,000이 되는 두 수는 무엇인가?

    두 수 모두 양수라고 가정하면 대답은 500가지다.

    불량 조건 문제를 푸는 유일한 방법은 다른 가정을 첨가하는 것이다.

    만약 둘째 숫자가 첫째 숫자보다 세 배 더 크다고 한다면

    해답은 250과 750 뿐이다.

 

ㅇ 기억은 두뇌가 정보를 적는 석판이고 텅 빈 상태에서 시작한다.

    반면 컴퓨터는 프로그램을 입력하기 전까지는 텅 빈 석판이다.

    그 자체가 능동적인 과정인 프로그램이라도 무엇이든 일어나려면

    먼저 기억 장치에 쓰여야만 한다.

 

ㅇ 제한된 가정에서 출발하여 데이터를 설명하지 못할 경우 점차 제한을 푸는 방식은

    머신러닝에서 전형적이며, 보통 이 과정은 사람의 도움 없이 머신러닝이 자동으로

    수행한다. 먼저 머신러닝은 하나의 요소를 모두 시험하고 그 다음 두 요소의

    조합을 모두 시험하고 그 다음 세 요소의 조합을 모두 시험하는 식으로

    계속해 나간다.

 

ㅇ 우리가 필요한 것은 단 하나의 규칙이 아니라 다음과 같이 규칙의 집합으로 정의된

    개념을 배우는 것이다.

     - 당신이 '스타워즈' 4~6편을 좋아한다면 '아바타'도 좋아할 것이다.

     - 당신이 '스타트렉:다음 세대'와 '타이타닉'을 좋아하면 '아바타'도 좋아 할 것..

     - 당신의 신용카드가 어제 중국, 캐나다, 나아지리아에서 사용되었다면 분실된 것

     - 당신의 신용카드가 주중 오후 11시 이후에 두 번 사용되었다면 분실된 것...

     - 월마트 사례...기저귀를 사는 고객은 맥주도 사려고 한다는 규칙....

 

ㅇ 개별 규칙을 학습한 후 이 규칙이 설명하는 긍정적인 예는 빼고 나머지

    아직 설명하지 못하는 긍정적인 예를 다음 규칙이 설명하는지 시험하는 식으로

    모든 것이 설명될 때까지 시험을 반복한다....과학자자 연구계획법으로 사용하는

    가장 오래된 전략인 '분할 정보'의 예....

 

ㅇ 머신러닝이 데이터에서 실제 세계와 맞지 않는 패턴을 발견할 때마다

    우리는 머신러닝이 데이터에서 과적합을 도출했다고 말한다.

    과적합은 머신러닝의 핵심 문제다....

    환각의 패턴을 조심해야만 한다. 이것을 피하는 유일한 안전한 방법은

    머신러닝이 배울 수 있는 범위를 엄격하게 제한하는 것이다.

 

ㅇ 머신러닝 알고리즘은 데이터에서 어떤 패턴을 찾는 능력이 거의 무제한이기

    때문에 과적합 문제에 특히 취약하다. 사람이 패턴 하나를 찾는 동안 컴퓨터는

    수백만개를 찾는다..... 과적합 문제는 잡음에 의해 더 심각해 진다. 머신러닝에서

    잡음은 데이터에 나타난 오류이거나 당신이 예측할 수 없이 무작위로 나타나는

    사건이다....과적합 문제는 가정이 너무 많고 가정들을 시험하여 솎아 낼 데이터는

    충분하지 않을 때 발생한다. 나쁜 소식은 결합 규칙을 배우는 간단한 머신러닝이라

    도 가설의 수는 특성치의 수에 따라 기하급수로 늘어난다는 사실이다.

 

ㅇ 학습은 당신이 보유한 데이터의 양과 당신이 고려하는 가설 수 사이의 경주다.

    데이터가 많을수록 살아남는 가설의 수를 기하급수적으로 줄이지만, 많은 가설을

    가지고 시작하면 나쁜 가설들이 여전히 남아 있는 채로 가설 검증이 끝날 수 있다.

 

 

ㅇ  만약 머신러닝이 계속 같은 실수를 하면 문제점은 편중이다. 머신러닝을 더

     유연하게 조정하든지 다른 머신러닝으로 바꾸어야 한다. 실수에 어떤 패턴이

     없으면 문제점은 분산이다.덜 유연한 머신러닝으로 시도하거나 더 많은 데이터를

     구해 시험해야 한다.

 

ㅇ 기호주의작의 핵심 믿음은 모든 지성은 기호의 조작으로 귀결될 수 있다는 것...

    기호 조작을 칠판에 쓰면서 하든지, 트랜지스터를 켜고 끄면서 구현하든지,

    신경세포를 발화시키든지, 팅커토이(막대와 원형으로 구성된 조립식 장난감)을

    가지고 놀면서 하든지 차이가 없다.

 

ㅇ 심리학자인 데이비드 마르(David Marr)는 모든 정보 처리 시스템은 뚜렷이 구분된

    세 가지 단계를 연구해야 한다고 주장한다.

    1) 풀려는 문제의 기본 성질

    2) 문제를 풀 때 사용하는 알고리즘과 표현 기법

    3) 물리적으로 구현하는 방법

 

ㅇ 학습은 우리가 마르의 단계에 따라 연구하면

    성과를 낼 수 있는 인식 기능의 최고 사례다...

ㅇ 연결주의 모형에서 모든 신경세포는 헵의 규칙에 따라 동시에 학습한다.

    이 점이 컴퓨터와 두뇌의 특성이 다른 부분이다.

 

ㅇ 페셉트론에서 가중치의 양수값은 흥분성 연결을 나타내고 가중치의 음수값은

    억제성 연결을 나타낸다. 퍼셉트론은 입력들의 가중치 합이 한계값을 넘으면

    1을 출력하고 넘지 않으면 0을 출력한다.

 

ㅇ  페셉트론은 할머니의 영상을 볼 때 발화하지 못한다면 인력의 가중치 합을

     높인다. (할머니의 눈이 갈색이라면 이 특성을 가중치를 높인다.)   

     반대로 퍼셉트론이 발화하지 않아야 할 때 발화하면 활성 입력치의

     가중치를 낮춘다.

 

ㅇ 학습이 필요한 이유는 오류를 해결하기 위해서다.

    시간이 지나면 할머니를 나타내는 특징들은 가중치를 얻고 그렇지 않은 특징들은

    낮은 가중치를 얻는다. 퍼셉트론이 할머니를 볼 때마다 발화하고 그 때만 발화하면

    학습은 종료된다.

 

ㅇ 근본적으로 베이즈 정리란 새로운 증거를 얻었을 때 가설에 대한 믿음의 정도를

    갱신하는 간단한 규칙일 뿐이다. 증거가 가설과 일치한다면 가설이 옳을 가능성이

    올라간다. 만약 아니라면 내려간다.

 

ㅇ 베이즈주의자에게 학습이란 베이즈 정리의 또 다른 응용일 뿐이다.

    학습 모형 전부는 베이즈 정리의 가설이고 학습 데이터는 베이즈 정리의 증거에

    해당한다. 데이터가 더 많아지며서 어떤 모형은 더 잘 맞고 어떤 모형은 덜 정확

    하기도 하다가 이상적인 하나의 모형이 분명한 승자로 드러날 것이다.

 

ㅇ 우리는 보통 원인에 대한 결과의 확률을 알고 있지만, 우리가 알고 싶은 확률은

    결과가 나왔을 때 결과의 원인에 대한 확률이기 때문에 베이즈 정리가 유용하다.

    예를 들어 우리는 독감 환자의 몇 퍼센트가 열이 나는지 알지만, 우리가 진정으로

    알고자 하는 것은 열이 있는 환자가 독감에 걸렸을 확률이 얼마나 되는가이다.

    이처럼 베이즈 정리는 한 지점에서 다른 지점으로 가게 해 준다.

 

ㅇ 컴퓨터로 베이즈 정리를 구현하는 작업이....어려 가지 사유 때문에 아주 간단한

    문제를 제외하고는 모든 경우에서 지독히 어렵다는 점...

 

ㅇ 베이즈주의자의 대답은 확률이란 횟수가 아니라 주관적인 믿음의 정도라는 것..

    확률값을 어떻게 정할지는 당신에게 달렸고, 베이즈 추론에서 얻을 수 있는 것은

    당신의 사후 믿음을 구하기 위해 당신의 사전 믿음을 새로운 증거들로 갱신하라는

    것이 전부다.

 

ㅇ 베이즈 네트워크는 머신러닝이 매우 드물게 일어나는 사건, 즉 나심 탈레브가

    '검은 백조'라 부른, 사건을 예측할 수 없다는 오해가 거짓임을 보여준다.

 

ㅇ 이웃한 화소들은 보통 같은 물체의 부분들이라는 사실을 알고 있으므로 이에

    대응하는 특징들을 도입할 수 있다.

 

ㅇ 암치료....베이즈 네트워크는 유전자 조절이나 단백질 접힘 구조같이 세포가

    어떻게 작동하는가에 대하여 하나의 단면적인 상황은 모형화할 수 있지만

    이 모든 조각을 함께 모아 조화로운 전체 그림을 구성하는 것은 논리밖에 없다.

    반면 논리는 실험생물학에서 흔히 볼 수 없는 불완전하고 오류가 섞인 정보를

    다룰 수 없지만 베이즈 네트워크는 침착하고 자신있게 처리한다.

 

ㅇ 전문가들은 논리와 확률의 통합은 불가능하다고 믿었다.

    마스터 알고리즘에 대한 전망은 좋지 않아 보였다. 특히 진화주의 알고리즘과

    연결주의 알고리즘이 정보가 불완전하거나 데이터 집합이 여러 개인 상황을

    처리할 수 없었기 때문이다.....매우 데이터가 적을 때는 어떻게 학습할 것인가에

    대한 답을 찾아야 한다.......해결하고자 하는 문제의 어떤 부분에 관한 데이터는

    넘쳐나지만 다른 부분에 관한 데이터는 거의 없다시피 한 경우를 종종 발견한다.

    이곳이 바로 머신러닝에서 가장 중요한 착상이 등장하는 자리다. 바로 유추다.

 

ㅇ 앞으로 10년 안에 최근접 이웃 알고리즘의 효율성, 서포트 벡터 머신의 수학적

    정교함, 유추의 강력한 능력과 유연성 등을 하나의 알고리즘으로 묶은 심층 유추법

    이 머신러닝을 주도하는 시가가 올 것이다.

 

ㅇ 사실 어떤 머신러닝도 차원의 저주에서 벗어나지 못한다. 차원의 저주는 머신러닝

    에서 과적합 문제에 이어 두 번째로 가장 나쁜 골칫거리...

 

ㅇ 머신러닝에서 발생하는 문제는 단지 계산 비용이 커진다는 것 이상이다.

    차원이 증가할수록 학습 자체가 점점 더 어려워진다는 것이 문제다.

 

ㅇ 두 사물이 서로 일치하는 면이 있다면 두 사물은 비슷하다. 두 사물에 일치하는

    면이 있다면 두 사물은 다른 면에서도 일치할 가능성이 있는 것이다.

    이것이 유추의 핵심이다. 이것은 또한 유추의 주요 하위 문제 두개를 드러낸다.

    즉 두 사물이 얼마나 비슷한지 알아내는 문제와 두 사물의 유사성에서 추론할 수

    있는 그 밖의 다른 것을 알아내는 문제...

 

ㅇ 어떤 유추주의 머신러닝 알고리즘이라도 가장 중요한 질문은 어떻게 유사성을

    측정하는가이다.

 

ㅇ 전화 상담 서비스, 판례에 기초하여 특정 사건을 변론하는 법률 로봇은....사례

    기반 추론의 가장 인기 있는 응용 분야

 

ㅇ 유사한 사물을 한데 묶고 같은 사물이지만 다르게 보이는 영상을 한데 묶는

    알고리즘이다. 이것은 군집화라는 문제이며....

 

ㅇ 강화 학습의 진짜 문제는 당신이 어떤 지역의 지도를 가지고 있지 않을 때

    발생한다. 그러면 당신의 유일한 선택 사항은 탐험을 하여 보상이 무엇이고

    어디에 있는지 찾는 것이다.

 

ㅇ 우리 두뇌도 거대한 보상과 실제 보상 사이의 차이를 전파시키는 신경 전달

    물질인 도파민을 이용하여 강화학습을 한다.....습관이라고도 알려진 작은 규모

    의 강화 학습은 당신이 하는 활동의 대다수를 차지한다.

 

ㅇ 신호, 반복 행동, 보상의 순환 고리를 이해하고 조절하는 것은 개인 뿐 아니라

    사업이나 사회 전체에도 적용되는 성공 요소다.

 

ㅇ 큰 수의 법칙에 따르면 개인은 예측 불가능하지만 전체 사회는 불가능하지

    않다고 확신할 수 있다....관계형 학습은 이것이 왜 사실이 아닌지를 밝혀 준다.

    사람들이 독립적이어서 각각 고립되어 결정한다면 사회는 정말로 예측 가능할

    것이다. 그런 무작위적 결정을 모아서 살펴보면 일정한 평균값이 나오기 때문이다.

    하지만 사람들이 상호작용을 하면 큰 집단이 작은 집단보다 더 예측 가능하지는

    않다. 자신감과 두려움이 전염된다면 그 중 하나가 잠시 지배적으로 퍼지겠지만

    전체 사회는 자신감과 두려움 사이를 왔다 갔다 할  것이다.....

    다시 말해서 검은 백조같이 도저히 일어날 것 같지 않은 일도 예측 불가능한 것은

    아니다.

 

 

ㅇ 마르코프 네트워크는 퍼셉트론과 매우 비슷하게 특징들의 가중치 합으로 정의된다

    는 것을 기억하자. 우리가 사람들의 사진을 모아 놓은 데이터가 있다고 해 보자.

    임의로 사진을 하나 골라내고 '이 사람의 머리는 흰색이다.', 이 사람은 노인이다.',

    '이 사람은 여자다.' 등의 특징들을 뽑아낸다.  퍼셉트론에서는 이런 특징들의

    가중치 합을 한계치와 비교하여 이 사람이 당신의 할머니인지 아닌지를 결정한다.

 

ㅇ 머신 러닝의 다섯 종족이 아주 오랜 시간을 들여 풀어 오던 문제들을 다룬다.

 

ㅇ 기호주의

     - 수학자가 공리들을 묶어서 정리를 증명하는 것과 같은 방식으로 흩어져 있는

       지식의 조각을 결합

     - 정리를 논리로 증명하려면 공리를 올바른 순서로 적용하는 단 하나의 방법을

       찾아야 함

 

ㅇ 연결주의

    - 두뇌에서 영감을 받아 신경세포에 해당하는 부분을 S자 곡선으로 나타내고

      신경접합부를 모방하여 가중치를 주고 S자 곡선을 연결한 네트워크

    - 역전파....어떤 신경세포가 어떤 오차에 책임이 있는지 파악하고 가중치를 그에

      맞게 조정....

 

ㅇ 진화주의

    - 유전 알고리즘을 사용하여 자연 선택을 모의실험

    - 가설을 수를 유지하고 각 세대에서 최적의 가설을 교차하고 최적의 가설에

      돌연변이를 일으켜 다음 세대를 낳음

 

ㅇ 베이즈주의

    - 불확실성에 대한 모형을 세우는 것이 학습의 핵심

    - 베이즈 네트워크와 마르코프 네트워크를 사용하여 불확실성의 모형을 세움

  

ㅇ 미래에는 당신이 이용하거나 이용할 모든 제품과 서비스 공급 회사들이 당신의

    모형을 대상으로 영업한다. 당신의 모형이 당신을 위해 모든 것을 걸러 내기 때문

    이다. 공급 회사 로봇의 임무는 당신의 로봇이 구매하도록 설득하는 것이다.

 

ㅇ 데이터 공유 방법 모두 문제가 있다. 다행히 공통의 해결책이 있다. 바로 당신의

    데이터를 맡는 새로운 종류의 회사다. 당신의 돈을 맡는 은행과 같다.

 

ㅇ 21세기는 데이터 조합이 필요하다. 데이터 조합은 조합원이 그들의 데이터를

    사용하는 것에 관하여 회사와 평등한 조건에 협상하도록 이끈다.

 

ㅇ 머신러닝에게는 신용 관련 신청서를 평가하는 일이 발을 헛딛지 않고 건설 현장을

    돌아다니는 것보다 쉬웠다.

 

ㅇ 당신의 두뇌는 시각과 운동을 처리하는 데 전념한다. 이것은 걸어다니는 일이

    보이는 것보다 휠씬 더 복잡하다는 신호다. 우리는 걷는 일이 당연하다고

    여기는데, 진화에 의해 완벽할 정도로 연마되어서 무의식적으로 걷기 때문이다.

 

ㅇ 대결 상황은 사람 대 기계가 아니다. 기계를 이용하는 사람 대 기계를 이용하지

    않는 사람의 대결이다. 데이터와 통찰력은 말과 기수이고 당신은 말을 앞질러

    가는 대신 말을 타고 달린다.

 

ㅇ 미래에는 유일한 과학자가 과학을 연구하는 컴퓨터를 뜻하는 컴퓨터과학자일 것

 

ㅇ 우리가 컴퓨터를 전부 꺼 버려도 현대 문명이 붕괴되지 않는 시점은 이미 오래

    전에 지나갔다. 머신러닝이 최후의 결정타다. 모든 희망은 확실히 사라진다....

 

ㅇ 안심하시라. 마스터 알고리즘을 갖춘 인공지능이 세상을 지배할 가능성은 0이다.

    그 이유는 간단하다. 인간과 달리 컴퓨터는 그만의 고유한 의지가 없다.

    컴퓨터는 진화가 아니라 공학의 산물이다. 무한대로 강력한 컴퓨터라도 여전히

    우리 의지의 확장일 뿐이며 두려워할 것이 아무것도 없다. 모든 머신러닝 알고리즘

    의 세 가지 성분인 표현과 평가, 최적화를 되새겨 보라.

    - 표현: 무엇을 배울 수 있는지 그 범위를 제한...마르코프 논리 네트워크 같은 매우

              강력한 것을 선택하며 머신러닝은 어떤 이론도 배울 수 있다.

  

    - 최적화: 평가함수를 최대화하기 위하여 가능한 모든 일을 함...그 평가함수를 바로

                우리가 결정함. 강력한 컴퓨터는 최적화를 잘 할 뿐.

 

ㅇ 우리가 믿고 싶은 것과 반대로 인간은 다른 사람에게 쉽게 복종하며 충분히 발전한

    인공 지능이라면 신과 구별되자 않는다.

 

ㅇ 우리는 신경망이 말을 인식하도록 학습시키지만 학습 데이터에 있는 말들이

    우연히 모두 갈색이라면 머신러닝은 말 대신 갈색 조각을 인식하도록 학습한다.

 

ㅇ 커즈와일은 과적합 문제를 보여주고 있다. 항상 선형적으로만 추정한다고 다른

    사람들을 흠잡는 것은 옳지만, 그러면서 그는 모든 곳에서 지수함수적 특징을 보는

    더 특이한 병폐의 포로가 된다. 그는 아무것도 일어나지 않는 평평한 곡선 부분

    에서 아직 일어 나지 않은 지수함수적 증가를 본다. 하지만 기술의 진보 곡선은

    지수함수가 아니다.....S자 곡선이다.

 

ㅇ S자 곡선의 처음 부분은 지수함수로 착각하기 쉽지만 S자 곡선은 곧 빠르게

   달라진다. 커즈와일을 곡선은 대부분 무어의 법칙에거 나왔고 무어의 법칙은 이제

   다 허물어지고 있다.

 

ㅇ 어림짐작일 뿐.....이러한 인식은 기껏해야 부분적으로는 더 가까운 사물들이

    더 빨리 움직이는 것처럼 보이는 시차 효과 때문임.

 

ㅇ 진핵 생물(우리)는 원핵생물(세균)보다 더 천천히 진화한다. 완만하게 가속화하는

    모습과는 거리가 멀게 진화는 하다 말다를 반복하며 진행한다.

 

ㅇ 특이점은 아니지만 상전이는 맞다. 자연의 학습도 진화와 두뇌, 문화라는 세 단계

    를 거쳤다. 각 단계는 이전 단계의 산물이고 단계가 올라가며 더 빨리 학습한다.

 

ㅇ DNA설계로 사람들은 마침내 자신이 원하는 몸을 얻고, 윌리엄 깁슨의 말처럼

    '구매 가능한 아름다움'의 시대가 열릴 것...