안녕, 트랜스포머 by 이진기

[ 밑줄/연결 ]

 

 

 

어텐션(Attention)을 한마디로 표현하면 내가 찾고자 하는 것(쿼리)을 내가 아는 지식(키, 값)을 이용해서 찾아내는 것이다.

 

 

 

(사전 학습과 파인튜닝)

 

사전 학습은 많은 데이터와 고성능의 GPU를 통해 오랫동안 학습된다. 

그에 따라 파인튜닝은 사전 학습된 모델을 이용해서 개발자가 최종적으로 원하는 모델로 튜닝시키는 과정이다.

파인튜닝은 사전 학습을 하는 것에 비해 적은 데이터로 짧은 시간에 학습할 수 있다.

 

홍길동 대리는 텍스트를 분류하는 텍스트 분류 모델을 만들어야 하고, 둘리 사원은 질의응답 기능을 가진 모델을 만들어야 한다....

한국어를 사전 학습한 한국어  BERT 모델을 공통으로 사용할 수 있다.

그 다음에는 홍길동 대리는 자기 나름대로 BERT 모델에 텍스트 분류를 위한 레이어를 추가해서 영화 감상평 데이터를 사용해 프로젝트를 수행하면 된다.

둘리 사원은 BERT 모델에 질의응답을 위한 레이어를 추가해서 뉴스 데이터로 프로젝트를 수행하면 된다.

 

BERT가 나오기 전이라면 홍길동 대리와 둘리 사원은 처음부터 끝까지 각자 모델링을 했어야 할 뿐 아니라 더 많은 데이터를 필요로 했을 것이다....

 

한국어로사전 학습된 BERT를 이용하면 모델링을 하는 데 필요한 개발 시간을 크게 단축시킬 수 있다.

 

각자의 목적에 맞게 모델을 조금 추가하는 것이 파인튜닝이다. 

사전 학습 후 파인튜닝하는 구조를 취하게 되면 적은 데이터로도 충분히 학습을 진행할 수 있다. 

보통 모델을 학습할 때 많은 데이터가 필요한 이유는 다양한 형태의 데이터를 학습하기 위함이다. 

사전 학습된 모델은 이미 충분히 많은 데이터를 학습한 상태이다. 따라서 파인튜닝을 진행할 때는 학습 데이터의 개수가적더라도 충분히 다양한 데이터이 패턴을 다룰 수 있는 모델로 학습될 수 있다. 

 

 

 [ 자평 ]  국내 저자가 트랜스포머에 대하여 쓴 책은 이 책이 처음이지 않을까 싶다.