일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Example DAG
- Scala
- ambari
- re
- HIVE
- java
- yarn
- 빅데이터
- 람다 아키텍처
- airflow
- execution_date
- Service
- 정규표현식
- HDFS
- SlackWebhookOperator
- MapReduce
- hadoop
- Windows
- docker
- jupyter
- Kafka
- HDP
- HBase
- LDAP
- slack app
- python
- slack
- Namenode
- NoSQL
- Lambda architecture
Archives
- Today
- Total
목록HiveOperator (1)
IT 삽질기
Airflow HiveOperator LDAP 연결
지난 글에서는 HiveServer2 인증 방법으로 LDAP을 사용하는 경우 Airflow HiveServer2Hook를 사용하는 방법에 대해서 알아보았다. 2021.04.23 - [BigData/Airflow] - Airflow HiveServer2Hook LDAP 연결 이번 글에서는 HiveServer2 인증 방법으로 LDAP을 사용하는 경우 Airflow HiveOperator를 사용해 hive에 query을 날리는 방법에 대해서 알아보도록 하자 Airflow의 버전은 마찬가지로 2.0.0을 사용했다 먼저 HiveOperator의 코드를 살펴보자 github.com/apache/airflow/blob/master/airflow/providers/apache/hive/operators/hive.py H..
BigData/Airflow
2021. 4. 27. 22:27