기계 학습을 다시 묻다 by 레슬리 밸리언트

[ 밑줄/연결 ]

알고리즘은 문제를 푸는 기계적인 방법이다.
알고리즘에 미리 심어 넣은 전문성이 아니라 실행하며 외부 환경에서 배워 익힌 전문성이다.
이런 알고리즘을 에코리즘(ecorithm)이라고 부르겠다. 에코리즘이 따르는 학습을 얼추거의맞기(probably approximately correct, PAC)학습이라고 한다.

생명체들이 헤쳐나가는 디채로운 방법이 모두 환경으로부터 학습한 결과이고, 이 학습 과정이 기계적인 계산으로 이해될 수 있다는 입장이다. 이런 학습 능력을 갖춘 알고리즘을 에코리즘이라고 부르겠다.

이 책은 두 개 입장을 중심으로 펼쳐진다.
첫째는, 생명체들이 어려움을 헤쳐나가는 다채로운 방법이 모두 환경으로부터 학습한 결과라는 것이다.
둘째는, 이 학습 과정이 컴퓨터과학의 방법들로 이해될 수 있는 구체적인 과정을 밟는다는 것이다.

이 책의 두 가지 핵심 입장, 즉 생명체들의 행동은 모두 학습에서 나온 것이고 학습은 계산 과정으로 이해될 수 있다는 입장은 그냥 가정이 아니다. 생명을 기계적으로 설명할 수 있다는 가정에서 나온 결론들이다.

기계적인 계산이 어떤 재료(반도체, DAN, 뉴론 혹은 전혀 다른 물질)로 어떻게 구현되든 간에 이런 기계적인 과정의 한계를 드러내는 궁극의 법칙은 늘 존재한다.

계산 연구에 근본적인 세 가지....기계적인 계산의 정의, 능력, 그리고 한계
첫째로는, 기계적인 계산(기계적으로 한 스텝 한 스텝 진행하는 과정)을 명확하게 정의....'기계적인 계산'이란 튜링기계로 만들어서 돌릴 수 있는 것으로 한다는 정의다.
둘째는, 기계적인 계산의 강력은 능력. 튜링기계로 보편만능의 기계를 만들 수 있다는 사실.
셌째는, 기계적인 계산으로는 절대 할 수 없는, 불가능한게 있다는 사실을 증명했다. 튜링기계로 할 수 있는 일의 한계다. 정의할 수 있는 문제들이라고 다 기계적으로 풀 수는 없다는 것을 증명한 것이다....멈춤 문제...애매한 것이 없이 정확히 정의된 문제다.

핵심 질문은 '자연을 기계적으로 설명할 때 가능한 범위와 그 한계는 어디일까'입니다...'범위와 한계'를 탐구하는 게 중요하다는 것을 강조한 대목이기도 한데, 이 두개가 튜링이 연 컴퓨터과학의 핵심 특성이 되었다.

학습의 핵심은 일반화다. 특수 사실에서 보편 지식으로 건너뛰는 인덕(Induction)과정이 핵심이다. 인덕을 과학적으로 설명하려면 두 개의 가정이 필요하다. 학습한 세계와 적용할 세계가 다르지 않다는 가정, 그리고 학습 가능한 규칙성이 있다는 가정이다.

다윈의 진화 이론에도 목표가 있다. 적합도(fitness)를 높이는 것이다. 적합도는 개체가 환경에서 가지는 이득을 잰 것이다. 자연 선택은 적합도가 더 높은 개체를 선호하는 것이고 이게 진화를 만든다.

수학에서 사실인 명제들만 하나도 빠뜨리지 않고 공통된 공리들로부터 기계적인 디덕(확실한 사실들만 이끌어내는 기계적인 방식)을 통해서 술술 만들어낼 수 있을까?
1930년 24살의 괴델이 그것은 불가능하다고 증명한다. 유한한 디덕 시스템으로는 증명할 수 없는 참인 논리식이 항상 존재한다고, 이론 있게 정확한 사실만으로 이치를 따지는 것의 궁극적인 한계를 슬쩍 보여준 첫 결과였을 것이다.

각자 다르게 세상을 보게 되는 이유는 각자가 가진, 제한된 용량의 마음의 눈 때문이다. 세상이 학습 가능하려면 작은 마음의 눈으로 세상을 보는 게 확실하다. 계산 비용의 한계 때문이다.

지 않는 인위적인 상황에서 그 단어를 사용하는 것은 불합리하다.

모든 이론 없는 분야에서의 결정은 아무리 컴퓨터가 도운 결정이라고 해도 여전히 이론 없기 쉽다. 경제학자나 금융가 모두가 이해하는 바, 통계 도구들이 더 좋아졌다고 해서 이론 없는 영역을 이론 있게 만들지는 않는다....
이론 없는 분야에서는, 발견된 것들에 기초해서 논리적으로 따질 때도 이론 없는 한계를 그대로 가지게 된다.
제일 정교한 이론 있는 기술은 그 한계를 충분히 이해하고 사용해야 한다...
이론 없는 분야(사회과학을 포함해서)에서, 우리의 의사 결정은 가장 정교한 지적 도구로 도움을 받았다고 해도 PAC학습에 근본적으로 존재하는 불확실성에 휘둘린다.
---> WoW..고수의 촌철살인

학습은 예시로부터 건너뛰어 보편 사실을 추측해 내는 것이다 보니 항상 정답함수를 학습하는 것은 불가능하다. 학습한 함수가 틀린 답을 낼 확률은 수학적으로 분석하고 원하는 수준으로 관리할 수 있을 뿐이다. 손수 만드는 프로그램과 비교하면 학습에 기대어 만드는 프로그램은 늘 이런 근본적인 약점을 가지고 있다.

학습은 점점 더 강력해지고 다음과 같은 경우에는 반드시 필요하다.
(1) 원하는 일을 하는 방법을 구체적으로 정의할 수 없을 때
(2) 실행하는 시스템을 개선하려는데 그 시스템이 이미 갖춘 지식이 무엇인지 정확하게 정의할 수 없을 때
(3) 시스템에 직접 프로그램을 짜 넣은 방법이 없을 때.
사람에게는 이 세가지 모두가 성립한다.

나는 자연에서 일어났던 일은 비지도 학습이 아니라 지도 학습이라고 본다....
답은 진화다. 내 정의에서 진화는 지도 학습의 한 경우다. 적합도...

PAC(얼추거의맞기 학습, Probably Approximately Correct)는 예시로 배우는 주입식 학습 과정으로서 그 계산 비용이 다항으로 잡히고 오류률이 다항 비용으로 관리되는 학습

[ 자평 ] 이런 저자와 번역자가 만든 책이 돈이 아깝지 않은 책, 아니 그냥 이런 것이 정말 읽을 만한 책이다.

다 이해는 못했지만 이해를 못했다고 하여 가치를 평가할 수 없다고 할 수는 없다.
근 일 주일 이책을 잡고 뇌를 흔들어댄 시간이 정말 귀하고 재미있었다.

특히 정말 꼼꼼하게 번역을 하고 번역자의 미주해설을 해 준 이광근교수는 이 책의 또 다른 저자라고 할 수 있다.
이 정도면 번역만 하신 것이 아니라 원저에 가치를 더한 또 다른 책을 같이 만드신 것다.