bizbuddha

[ 밑줄/연결 ] 어텐션(Attention)을 한마디로 표현하면 내가 찾고자 하는 것(쿼리)을 내가 아는 지식(키, 값)을 이용해서 찾아내는 것이다. (사전 학습과 파인튜닝) 사전 학습은 많은 데이터와 고성능의 GPU를 통해 오랫동안 학습된다. 그에 따라 파인튜닝은 사전 학습된 모델을 이용해서 개발자가 최종적으로 원하는 모델로 튜닝시키는 과정이다. 파인튜닝은 사전 학습을 하는 것에 비해 적은 데이터로 짧은 시간에 학습할 수 있다. 홍길동 대리는 텍스트를 분류하는 텍스트 분류 모델을 만들어야 하고, 둘리 사원은 질의응답 기능을 가진 모델을 만들어야 한다.... 한국어를 사전 학습한 한국어 BERT 모델을 공통으로 사용할 수 있다. 그 다음에는 홍길동 대리는 자기 나름대로 BERT 모델에 텍스트 분류를 위한..