bizbuddha

[ 밑줄/연결 ] (데이터 과학 진행 과정) (1. 데이터 획득) ㅇ 어떤 데이터가 필요하며 그것을 어디서 얻을 것인지를 사명서에 명시했다. ㅇ 사용할 데이터가 존재하는지, 품질은 어느 정도인지, 접근할 수 있는지 확인한다. (2. 데이터 준비) ㅇ 데이터 정제(data cleansing): 데이터 출처로부터의 거짓 데이터를 제거 ㅇ 데이터 통합(data intergration): 여러 데이터 출처로부터 얻은 정보를 조합함으로써 데이터 출처를 보충 ㅇ 데이터 변환(data transformation): 데이터를 모델에 적합한 형태로 만듦 (3. 데이터 탐색) ㅇ 데이터를 깊이 이해하는 데 주의를 기울인다. ㅇ 변수들의 상호작용, 데이터의 분포, 이상점의 존재에 대해 이해하려고 노력한다. ㅇ 기술적 통계학..

[ 밑줄/연결 ] (데이터 유형) : 구조적 데이터, 비구조적 데이터, 자연어 데이터, 기계 생성 데이터, 그래프 기반 데이터, 오디오/비디오/이미지 데이터, 스트리밍 데이터 등 등 (데이터 획득) (데이터 준비) ㅇ raw data 가공 ㅇ 오류 찾아서 수정, 여러 데이터를 조합하고 형태를 변환 (데이터 탐색) ㅇ 데이터를 깊이 이해 하기 ㅇ 시각적, 기술적 기법에 근거해 패턴, 관련성, 편차를 찾음 (모델 구축) (모델링 과정) (1) 특성 가공과 모델 선택 (2) 모델 훈련 (3) 모델 검증 및 선택 (4) 훈련된 모델을 드러내지 않은 데이터에 적용 [ 자평 ] 필요한 부분만 quick 하게 훑어 봄