일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Example DAG
- yarn
- hadoop
- airflow
- HBase
- SlackWebhookOperator
- Namenode
- ambari
- execution_date
- MapReduce
- HDFS
- NoSQL
- Scala
- docker
- Kafka
- 람다 아키텍처
- HDP
- re
- python
- 빅데이터
- slack
- 정규표현식
- slack app
- HIVE
- Service
- Lambda architecture
- jupyter
- LDAP
- java
- Windows
Archives
- Today
- Total
목록nifi (1)
IT 삽질기
Nifi에서 Hive3 연결하기
테스트 환경 nifi : 1.11.0 hive : 3.1.0 Nifi 1.7.0이후 버전부터 Hive3에 연결을 지원하지만 기본적으로는 지원하지 않고 nar 파일을 수동으로 추가해주어야함 용량 때문에 기본적으로는 제거되어있다는 얘기가 있음. https://community.cloudera.com/t5/Support-Questions/Problem-with-PutHiveStreaming-in-HDP-3-x/td-p/236072 테스트시 PutHiveStreaming을 이용해 hive에 접근하려 했지만 Failed connection to EndPoint 관련 오류가 발생하고 Hive에 접근이 되지 않음 위의 참고글에서 얘기하는 것처럼 Hive3 Nar 파일을 추가해야함 https://repository.a..
BigData
2020. 3. 31. 20:00