bizbuddha

[ 밑줄/연결 ] 빅데이터의 취급이 어려운 이유는 (1) 데이터의 분석 방법을 모른다는 점 (2) 데이터 처리에 수고와 시간이 걸린다는 점 Hadoop: 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템. NoSQL: 빈번한 읽기/쓰기 및 분산 처리가 강점 Spark: 새로운 분산 시스템 프레임워크. MapReduce보다 효율적으로 데이터 처리를 할 수 있음. 실시간 데이터 처리를 위한 시스템도 다수 만들어 지고 있음 (데이터 파이프라인) : 데이터 수집에서 workflow 관리까지 (데이터 수집): bulk형과 streaming형의 데이터 전송 여러 장소에서 발생하고 각각 다른 형태를 보임. 전송 방식에는 크게 두 가지 ㅇ 벌크형: 이미 어딘가에 존재하는 데이터를 정리해 추출. DB나 서버 등에서..