IT 삽질기

Hadoop이란 기존의 방식으로는 늘어나는 대용량의 비정형 데이터를 처리하기 힘듬 이러한 데이터를 처리하기 위해 만들어진 자바 기반의 오픈 소스 프레임워크로 분산 환경에서 빅데이터를 저장하고 처리하는 기능을 가짐 하나의 성능이 좋은 컴퓨터(scale up)를 이용하여 데이터를 처리하는 대신 적당한 성능의 범용 컴퓨터들을 클러스터화(scale out) 하여 데이터를 처리할 수 있도록 함 Hadoop의 구성요소 - Common - HDFS(Hadoop Distributed FileSystem) - MapReduce - YARN Hadoop Common - Hadoop의 다른 모듈을 지원하기 위한 공통 유틸리티 및 라이브러리 모음으로 Hadoop Core라고도 함 HDFS(Hadoop Distributed F..