티스토리 뷰

728x90

[ 밑줄/연결 ]

 

(LLM 생성 과정) : 모델 개발을 위한 라이프사이클

(1) 데이터 수집과 준비

ㅇ 데이터를 수집하고, 가공

ㅇ 데이터 수집, 정제, 전처리, 데이터 형식 변경

ㅇ 데이터 수집 : 식별, 수집(HTML, 페이지, PDF, TxT, DB 등)

ㅇ 데이터 정제 : 중복 제거, 노이즈 제거(오타, 잘못된 문장 부호, 비정상적인 문자 등)

ㅇ 데이터 전처리 : 토큰화, 정규화(대소문자 통일, 어간 추출 등)

ㅇ 데이터 형식 변경 : 날짜 --> YYYY-MM-DD형으로 변환 등

 

(2) 모델 설계

ㅇ LLM은 주로 트랜스포머 모델을 기반으로 함

ㅇ 계층 수, 학습률, 배치 크기 등 모델의 학습 과정을 조절할 하이퍼파라미터를 설정

ㅇ 하이퍼파라미터는 학습 과정을 제어하는 데 사용하는 설정 값 --> 모델이 데이터를 얼마나 빨리, 오래, 어떤 방식으로 학습할지 결정함

 

(3) 모델 학습

'모델링' : 모델이 데이터로부터 중요한 특징이나 관계를 학습하고, 이를 수학적 구조로 표현하는 과정을 말함

ㅇ 만들어진 내부적인 패턴이나 규칙이 '모델링'임

 

(4) 평가 및 검증

ㅇ 훈련에 사용될 모든 데이터 --> 훈련 데이터 + 검증 데이터 + 테스트 데이터

ㅇ 검증 데이터는 모델의 하이퍼파라미터를 조정하고 모델의 성능을 중간 평가하는데 사용

ㅇ 테스트 데이터는 모델의 최종 성능을 평가하는 데 사용

 

(5) 배포 및 유지 보수

 

 

(RAG: Retrieval-Augmented Generation)

정보 검색과 생성을 결합한 인공지능 모델. 복잡하고 정보가 필요한 질문에 답변하기 위해 설계되었음

 

정보 검색 단계 + 텍스트 생성 단계

ㅇ 정보 검색 : 질문, 쿼리(문서 검색), 정보 검색 결과

ㅇ 텍스트 생성 : 정보 전달, 텍스트 생성

 

 

 

[ 자평 ]

 

궁금한 주제에 대해서 내가 알아야 할 만큼, 적당한 깊이의 책을 내주시는 저자라 꽤 읽은 편이다.

실습부문도 간단하고 유용하여 이해에 도움이 되었다.

 

 

댓글