티스토리 뷰
[ 밑줄/연결 ]
(LLM 생성 과정) : 모델 개발을 위한 라이프사이클
(1) 데이터 수집과 준비
ㅇ 데이터를 수집하고, 가공
ㅇ 데이터 수집, 정제, 전처리, 데이터 형식 변경
ㅇ 데이터 수집 : 식별, 수집(HTML, 페이지, PDF, TxT, DB 등)
ㅇ 데이터 정제 : 중복 제거, 노이즈 제거(오타, 잘못된 문장 부호, 비정상적인 문자 등)
ㅇ 데이터 전처리 : 토큰화, 정규화(대소문자 통일, 어간 추출 등)
ㅇ 데이터 형식 변경 : 날짜 --> YYYY-MM-DD형으로 변환 등
(2) 모델 설계
ㅇ LLM은 주로 트랜스포머 모델을 기반으로 함
ㅇ 계층 수, 학습률, 배치 크기 등 모델의 학습 과정을 조절할 하이퍼파라미터를 설정
ㅇ 하이퍼파라미터는 학습 과정을 제어하는 데 사용하는 설정 값 --> 모델이 데이터를 얼마나 빨리, 오래, 어떤 방식으로 학습할지 결정함
(3) 모델 학습
ㅇ '모델링' : 모델이 데이터로부터 중요한 특징이나 관계를 학습하고, 이를 수학적 구조로 표현하는 과정을 말함
ㅇ 만들어진 내부적인 패턴이나 규칙이 '모델링'임
(4) 평가 및 검증
ㅇ 훈련에 사용될 모든 데이터 --> 훈련 데이터 + 검증 데이터 + 테스트 데이터
ㅇ 검증 데이터는 모델의 하이퍼파라미터를 조정하고 모델의 성능을 중간 평가하는데 사용
ㅇ 테스트 데이터는 모델의 최종 성능을 평가하는 데 사용
(5) 배포 및 유지 보수
(RAG: Retrieval-Augmented Generation)
정보 검색과 생성을 결합한 인공지능 모델. 복잡하고 정보가 필요한 질문에 답변하기 위해 설계되었음
정보 검색 단계 + 텍스트 생성 단계
ㅇ 정보 검색 : 질문, 쿼리(문서 검색), 정보 검색 결과
ㅇ 텍스트 생성 : 정보 전달, 텍스트 생성
[ 자평 ]
궁금한 주제에 대해서 내가 알아야 할 만큼, 적당한 깊이의 책을 내주시는 저자라 꽤 읽은 편이다.
실습부문도 간단하고 유용하여 이해에 도움이 되었다.
'IT' 카테고리의 다른 글
GPT-4를 활용한 인공지능 앱 개발 by 올리비에 케일린 (1) | 2024.07.20 |
---|---|
AWS 구조와 서비스 by 우에노 후미아키 외 (0) | 2024.07.20 |
시스템을 잘 만들게 하는 기술 by 시라카와 마사루 (0) | 2024.05.12 |
코딩도 하고 사장도 합니다 by 한수봉 (0) | 2024.04.21 |
백세코딩 by 신현묵 (1) | 2024.01.13 |
- Total
- Today
- Yesterday
- 당신은 AI를 개발하게 된다
- 데브옵스 도입 전략
- 스케일의 법칙
- 개발자가 아니더라도
- 최진석
- 참을 수 없는 존재의 가벼움
- 사회물리학
- 개발자에서 아키텍트로
- 불교
- 파괴적 혁신
- Ai
- 제로 성장 시대가 온다
- 안나 카레니나
- 인공지능
- 고도를 기다리며
- 디지털 트랜스포메이션 엔진
- 함께 있으면 피곤한 사람
- 경영혁신
- 상대성이론
- 양자역학
- 직감하는 양자역학
- 플랫폼의 시대
- 돈
- 전략에 전략을 더하라
- 경계의 종말
- 혁신
- 부정성 편향
- 복잡계의 새로운 접근
- 함께 있으면 즐거운 사람
- 이노베이션
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |