Nifi에서 Hive3 연결하기

테스트 환경

nifi : 1.11.0

hive : 3.1.0

 

Nifi 1.7.0이후 버전부터 Hive3에 연결을 지원하지만 기본적으로는 지원하지 않고 nar 파일을 수동으로 추가해주어야함

용량 때문에 기본적으로는 제거되어있다는 얘기가 있음.

https://community.cloudera.com/t5/Support-Questions/Problem-with-PutHiveStreaming-in-HDP-3-x/td-p/236072

 

테스트시 PutHiveStreaming을 이용해 hive에 접근하려 했지만 Failed connection to EndPoint 관련 오류가 발생하고 Hive에 접근이 되지 않음

위의 참고글에서 얘기하는 것처럼 Hive3 Nar 파일을 추가해야함

https://repository.apache.org/content/repositories/releases/org/apache/nifi/nifi-hive3-nar/

Index of /repositories/releases/org/apache/nifi/nifi-hive3-nar

위의 해당 경로에서 사용하는 nifi 버전에 맞는 nar파일을 다운로드 하여

nifi_home/lib/ 디렉토리에 옮긴 후 nifi 재시작

 

nifi를 재시작하면 기존에는 없던 PutHive3Streaming Processor가 새로 생긴것을 확인

 

해당 Processor을 이용해 Hive3에 접근시 잘 접근되는 것을 확인

 

Permission Error이 발생할 수 있는데 nifi를 실행할때 사용한 계정으로 Hive에 접근하는 것으로 권한을 부여해주는 방법과 nifi를 실행시키는 사용자를 hdfs로 변경해주는 과정을 통해 권한문제를 해결할 수 있음.