bizbuddha

[ 밑줄/연결 ] 최근 NLP의 혁명은 이름 없는 수많은 영웅의 노고로 이루어졌습니다. 그 외 NLP 성공은 견인한 동력은 다음 세 가지 (트랜스포머의 새로운 점이 무언인지 이해하기 위해 다음 배용부터 설명하겠습니다.) ㅇ 인코더-디코더 프레임워크 ㅇ 어텐션 매커니즘 ㅇ 전이 학습 (인코더-디코더 프레임워크) 인코더는 입력 시퀀스의 정보를 마지막 은닉 상태라고도 부르는 수치 표현으로 인코딩합니다. 그 다음 이 상태가 디코더로 전달되어 출력 시퀀스가 생성됩니다. 이 구조는 인코더의 마지막 은닉 상태가 정보 병목이 된다는 약점이 있습니다. 디코더는 인코더의 마지막 은닉 상태만을 참조해 출력을 만들므로 여기에 전체 입력 시퀀스의 의미가 담겨야 합니다. 시퀀스가 긴 경우, 모든 것을 고정된 하나의 표현을 압축하..