트랜스포머를 활용한 자연어 처리 by 루이스 턴스톨 외

[ 밑줄/연결 ]

 

최근 NLP의 혁명은 이름 없는 수많은 영웅의 노고로 이루어졌습니다. 그 외 NLP 성공은 견인한 동력은 다음 세 가지

 

(트랜스포머의 새로운 점이 무언인지 이해하기 위해 다음 배용부터 설명하겠습니다.)

ㅇ 인코더-디코더 프레임워크

ㅇ 어텐션 매커니즘

ㅇ 전이 학습

 

(인코더-디코더 프레임워크)

인코더는 입력 시퀀스의 정보를 마지막 은닉 상태라고도 부르는 수치 표현으로 인코딩합니다. 그 다음 이 상태가 디코더로 전달되어 출력 시퀀스가 생성됩니다.

 

이 구조는 인코더의 마지막 은닉 상태가 정보 병목이 된다는 약점이 있습니다. 디코더는 인코더의 마지막 은닉 상태만을 참조해 출력을 만들므로 여기에 전체 입력 시퀀스의 의미가 담겨야 합니다. 시퀀스가 긴 경우, 모든 것을 고정된 하나의 표현을 압축하는 과정에서 시작 부분의 정보가 손실될 가능성이 있어 더욱 취약합니다.

 

 

[ 자평 ]  개발자가 아니므로 필요한 부분만 휘리릭 ~~~ 

 

깔끔하게 이쁜 책....