실무가 보이는 머신러닝 딥러닝 by 마창수

[ 밑줄/연결 ]

 

--->  사람마다 정의와 분류는 다를 수 있다.

--->  아마 말하는 사람은 클라우드 서비스 외에 저 많은 것들을 AI 인프라/플랫폼으로 언급하고 자기가 한다고 한 것 같다.

저걸 어느 일개 사업자가 다 할 수나 있는 것인지? 남들이 얼마큼 얼마나 잘하고(또는 부족하게) 있는지는 알고나 하는 소리인지.....나는 황당했다.

 

(인공지능 개발을 위한 분산 플랫폼 환경)

 

대량의 데이터를 저장하기 위한 저장소가 필요 + 분산된 GPU 서버 환경에서 학습을 수행해야 함

규모가 있는 인공지능 개발 환경을 구축하기 위해서는 단독 머신이 아닌 분산 환경을 고민해야 함

빅 데이터 분석 플랫폼들은 데이터 수집, 저장, 분석을 위한 분산 환경을 지원함

이런 플랫폼에서도 인공지능 기술인 머신러닝 프레임워크를 지원함

ex) Spark는 스파크 머신러닝 프레임워크를 통해 머신러닝 알고리즘 수행 가능. 하둡 또는 머하웃도 지원

 

빅데이터 분산 환경 이외에도, 분산환경에서 GPU를 사용할 수 있도록 지원하는 CUDA를 프리웨어로 제공함

이를 통해 딥러닝 학습 등 대량의 GPU를 이용할 수 있는 경우 분산 처리를 할 수 있음

 

(인공지능 개발을 지원하는 도구)

 

인공지능 알고리즘을 개발하고 테스트하는 데 도움을 받을 수 있는 도구

머신러닝/딥러닝을 위한 알고리즘을 코드상에서 개발하거나 필요한 플랫폼을 설치하여 가상 환경을 만드는 등 필요한 작업들이 있는데 이를 쉽게 구성하고 개발할 수 있도록 돕는 도구

 

주피터 노트북, 파이썬, R 등도 지원

 

(딥러닝과 머신러닝 전용 프레임워크)

2015년 구글의 탠서플로는 연구실 중심으로 진행되던 딥러닝 기술을 활용한 개발이 일반으로 크게 확정되는 계기가 됨

 

케라스, 파이토치, 카페 등 모두 오픈소스인 이들 프레임워크는 머신러닝에서 어려운 부분을 추상화함으로써 더 많은 개발자들이 기술을 좀 더 쉽게 사용할 수 있게 됨

 

케라스

ㅇ 코드 몇 줄 정도로 딥러닝 모델을 만들 수 있음

ㅇ 파이썬으로 작성되어 있음. 내부적으로는 텐서플로, 테아노, CNTK 등 딥러닝 전용 엔진이 구동됨

ㅇ CPU와 GPU 사용을 모두 지원함

ㅇ 직관적인 API 인터페이스, 잘 된 문서화, 코드가 간결하고 가독성이 좋은 장점

ㅇ 기반이 되는 테아노, 텐서블로에서 문제가 발생 시 디버깅이 어려운 단정

 

텐서플로

ㅇ CPU/GPU 선택적 사용 가능. 분산 병렬 환경을 지원함 (단, 구글 클라우드 에서만)

ㅇ 구글의 언어 번역, 음성 인식, 포토 등 핵심 기술인 사진 검색 및 분류 영역이 이미 도입되어 사용 중

ㅇ 데이터 및 모델의 병렬 처리, 디버깅 시각화 도구 등이 장점

ㅇ 처리 속도가 느림, 빠르지 않은 성능, 사전 학습된 모델이 많지 않음, 부자연스러운 코딩 스타일 등 단점

 

파이토치

ㅇ 행렬과 벡터 연산에 특화됨

ㅇ 파인썬 언어로 개발됨. 활용도가 높음

ㅇ 코드를 디버깅할 수 있는 파이썬 디버깅 도구 사용이 가능. 병렬 처리가 가능

ㅇ 알고리즘이 모듈화 되어 있으 사용이 용이, 다양한 전처리 및 시각화 유틸리티, Open CL지원, 모바일 지원 장점

ㅇ 연구용으로 적합, 부족한 문서화 등이 단점

 

(인공지능 개발을 위한 프로그램 언어)

 

파이썬

ㅇ 원도우, 맥, 유닉스, 리눅스 등 다양한 플랫폼 지원

ㅇ 머신러닝 관련 라이브러리 뿐 아니라 데이터 통계, 처리, 시각화 등 필요한 라이브러리가 풍부

- 사이킷런 : 파이썬 표준 머신러닝 라이브러리

- 넘파이 : 과학 계산용 라이브러리

- 판다스 : 데이터 처리와 분산을 위하 라이브러리

 

 

[ 자평 ]

 

예전에 챗봇을 만들는 과정을 참고할 때 본 책으로 도움을 받았다.

 

AI full stack, AI 인프라, AI 플랫폼, 클러스터 솔루션 등 마구 마구 섞어 쓰는 멍청한 회의가 많아 지쳐서 필요한 부분만 다시 읽었다.

 

아주 오래 전에 요로 다케시 (養老孟司)교수의 '바보의 벽'이라는 책이 유행한 적이 있다.

이 용어가 요새 다시 머리에 떠 오른다.

원래 이런 뜻으로 하신 말씀은 아닌데, '지식의 벽'과 '바보의 벽'이 합쳐지만 얼마나 답답한지를 알게 깨닫고 있다. 

 

"갈등과 분쟁은 국가, 민족을 넘어서 부모와 자식, 남자와 여자, 직장상사와 부하, 보수와 진보 사이에도 존재한다. 저자는 그 원인이 바로 우리의 뇌 속에 있다고 한다. 뇌 속에 상대방과의 대화와 소통을 가로막는 벽, 즉 '바보의 벽'이 있다는 것이다.

인간의 뇌는 '알고 싶지 않은 것에 대해서는 스스로 정보를 차단해 버리는' 구조적 특징이 있다고 한다.

그래서 '말하면 안다'라는 것은 거짓이라는 것이다. 알고 싶어하지 않는 사람들에게는 아무리 말해도 알아듣지 못하기 때문이다.

우리가 정말로 제대로 알고 있는지 되물어야 한다.

우리가 얼마나 뿌리깊은 고정관념에 사로잡힌 존재인가를 다시금 깨달아야 한다 ."