일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 빅데이터
- slack app
- NoSQL
- jupyter
- Kafka
- Example DAG
- MapReduce
- 람다 아키텍처
- execution_date
- HBase
- slack
- Windows
- java
- yarn
- Service
- airflow
- HDFS
- Scala
- Namenode
- HDP
- ambari
- docker
- 정규표현식
- SlackWebhookOperator
- re
- Lambda architecture
- hadoop
- python
- LDAP
- HIVE
Archives
- Today
- Total
목록HiveServer2Hook (1)
IT 삽질기
Airflow HiveServer2Hook LDAP 연결
HiveServer2 인증 방법으로 LDAP을 사용하는 경우 Airflow HiveServer2Hook를 사용해 hive에 query을 날리는 방법에 대해서 알아보도록 하자 Airflow의 버전은 2.0.0을 사용했다. 먼저 Airflow의 HiveServer2Hook의 코드를 살펴보도록 하자 github.com/apache/airflow/blob/c699e97d0d43e06ea9835a845570db4fc7fd6931/airflow/providers/apache/hive/hooks/hive.py#L804 코드에서 살펴봐야 할 부분은 인증방식에 대한 부분과 connection을 만드는 과정이다. 먼저 인증 방식을 설정하기 위해서는 829번 line의 코드를 살펴봐야 한다 auth_mechanism으로 c..
BigData/Airflow
2021. 4. 23. 21:42