IT 삽질기

sqoop이란? sqoop은 일반적으로 사용하는 RDBMS(MySQL, Oracle)와 HDFS(Hive, HBase)간 데이터를 전송하기 위해 사용하는 툴로 HDFS 저장소를 기준으로 import(RDBMS -> HDFS), export(HDFS -> RDBMS) 기능을 제공하며, MapReduce방식으로 동작한다. 특별한 설정이 없는 경우 text file형식으로 HDFS에 적재되지만, 설정을 통해 sequence file, avro, parquet에 대한 형식을 지원한다. 여기서는 sqoop의 import와 export에 대해서 알아보도록 하자 Sqoop import 먼저 sqoop import 과정에 대해 알아보자. sqoop import는 아래와 같이 동작한다. 순서에 따라 살펴보도록 하자. (..