1년 안에 AI 빅 데이터 전문가가 되는 법 by 서대호

[ 밑줄/연결 ]

 

수학이나 통계를 잘 모르면 모델의 정확도를 높이는 데 중요한 역할을 하는 수치인 하이퍼 파라미터 튜닝의 개념을 이해하지 못한다. 그럼 새로운 데이터를 접했을 때 원하는 정확도를 얻지 못한다. 다른 딥러닝 모델과 결합하여 새로운 모델을 만드는 작업도 할 수 없을 것이다. 

 

비지도 학습은 데이터의 패턴을 알고 싶거나 데이터를 압축, 축소할 때 사용한다. 

 

AI 빅 데이터 전문가의 업무는 크게 비즈니스 문제 확인 --> 사용 가능한 데이터 파악 --> 데이터 전처리(데이터 선택, 정제 및 변환) --> 데이터 분석 및 모델링 --> 결과 해석으로 진행된다.

 

AI 빅 데이터 분석을 위해서 가장 많이 사용하는 수학 개념은 수리통계학과 선형대수학이다. 

 

이상값 탐색은 사기 적발 외에도 산업 재해 감지, 이미지 프로세싱, 보안 등에 사용될 수 있다.

 

딥러닝의 경우 파이썬은 케라스나 파이토치 라이브러리가 가장 많이 사용되고...

<혼자 배우는 머신러닝+딥러닝> 박해선 지음

<케라스 창시자에게 배우는 딥러닝> 프랑소아 숄레

----> 특히 박해선씨..정말 믿고 보는 IT분야 번역자/저술가....

 

상세히 알아야 할 딥러닝 알고리즘들은 심층 신경망, 합성곱 신경망, 순환 신경망, LSTM, 오토인코더다. 이 정도 알고리즘들은 직접 코드로 하나하나 구현할 줄 알아야 한다.

 

딥러닝은

ㅇ <처음 배우는 딥러닝 수학> 와쿠이 사다미 외

ㅇ <밑바닥부터 시작하는 딥러닝> 사이토 고키

ㅇ <케라스 창시자에게 배우는 딥러닝> 프랑소와 솔레

전이 학습...아무런 바탕 없이 처음부터 직접 학습하기보다는 이전에 대용량의 데이터로 미리 학습을 마치 모델을 가져다가 거기서 이어서 학습을 해서 쓰는 방식이다.

 

API 플라스크(Flask) 라이브러리를 활용하면 쉽게 제작 가능하다. 

<깔끔한 파이썬 탄탄한 백엔드> 송은우

최신 AI 학습 모델을 로드하여 예측하는 부분만 따로 떼어내 API로 제작해주어야 한다. 또한 트래픽 폭증으로 API가 다운되지 않도록 멀티프로세싱, 캐시작업을 해주어야하고 API 꺼졌는지 정상 작동하는지 실시간 체크 기능도 만들어야 한다. 

 

국내 학회지는 기본적으로 KCI(한국학회지 인용색인) 등재지 안에서 기본적으로 선택하면 된다. 

 

알고리즘을 비즈니스에 적용한 연구를 공부하기 위해서는 정보시스템학, 경영학 관련 학회지를 찾아보면 된다. 

 

이상탐지는 간단히 말하면 이진 분류 문제라고 볼 수 있다. 데이터를 정상/비정상으로만 구분해주면 된다. 

 

[ 자평 ] AI, 빅 데이터 공부에 대한 길잡이로서...

 

필요한 부분만 읽었다. 

배워 볼 필요가 있다고 도전할 젊은 정신들에게는 도움이 될 것 같다.