bizbuddha

[ 밑줄/연결 ] (LLM 생성 과정) : 모델 개발을 위한 라이프사이클(1) 데이터 수집과 준비ㅇ 데이터를 수집하고, 가공ㅇ 데이터 수집, 정제, 전처리, 데이터 형식 변경ㅇ 데이터 수집 : 식별, 수집(HTML, 페이지, PDF, TxT, DB 등)ㅇ 데이터 정제 : 중복 제거, 노이즈 제거(오타, 잘못된 문장 부호, 비정상적인 문자 등)ㅇ 데이터 전처리 : 토큰화, 정규화(대소문자 통일, 어간 추출 등)ㅇ 데이터 형식 변경 : 날짜 --> YYYY-MM-DD형으로 변환 등 (2) 모델 설계ㅇ LLM은 주로 트랜스포머 모델을 기반으로 함ㅇ 계층 수, 학습률, 배치 크기 등 모델의 학습 과정을 조절할 하이퍼파라미터를 설정ㅇ 하이퍼파라미터는 학습 과정을 제어하는 데 사용하는 설정 값 --> 모델이 데이터..