| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- Lambda architecture
- docker
- slack
- Scala
- execution_date
- 정규표현식
- MapReduce
- yarn
- Example DAG
- jupyter
- NoSQL
- HDFS
- Namenode
- re
- 람다 아키텍처
- SlackWebhookOperator
- Service
- HIVE
- python
- 빅데이터
- HDP
- LDAP
- slack app
- java
- airflow
- ambari
- HBase
- Windows
- hadoop
- Kafka
- Today
- Total
목록LDAP (3)
IT 삽질기
Airflow HiveOperator LDAP 연결
지난 글에서는 HiveServer2 인증 방법으로 LDAP을 사용하는 경우 Airflow HiveServer2Hook를 사용하는 방법에 대해서 알아보았다. 2021.04.23 - [BigData/Airflow] - Airflow HiveServer2Hook LDAP 연결 이번 글에서는 HiveServer2 인증 방법으로 LDAP을 사용하는 경우 Airflow HiveOperator를 사용해 hive에 query을 날리는 방법에 대해서 알아보도록 하자 Airflow의 버전은 마찬가지로 2.0.0을 사용했다 먼저 HiveOperator의 코드를 살펴보자 github.com/apache/airflow/blob/master/airflow/providers/apache/hive/operators/hive.py H..
Airflow HiveServer2Hook LDAP 연결
HiveServer2 인증 방법으로 LDAP을 사용하는 경우 Airflow HiveServer2Hook를 사용해 hive에 query을 날리는 방법에 대해서 알아보도록 하자 Airflow의 버전은 2.0.0을 사용했다. 먼저 Airflow의 HiveServer2Hook의 코드를 살펴보도록 하자 github.com/apache/airflow/blob/c699e97d0d43e06ea9835a845570db4fc7fd6931/airflow/providers/apache/hive/hooks/hive.py#L804 코드에서 살펴봐야 할 부분은 인증방식에 대한 부분과 connection을 만드는 과정이다. 먼저 인증 방식을 설정하기 위해서는 829번 line의 코드를 살펴봐야 한다 auth_mechanism으로 c..
pyHive Hive LDAP SASL error
pyHive를 이용해 Hive에 접근하는 경우 발생한 에러에 대해 정리한다 Hive는 LDAP을 이용해 인증을 하는 방식으로 설정되어 있다 hive.server2.authentication LDAP 이런 경우 pyHive를 통해 hive에 접근하는 경우에도 LDAP을 통한 인증이 필요한대 pyHive의 코드를 살펴보자 github.com/dropbox/PyHivegithub.com/dropbox/PyHive/blob/master/pyhive/hive.py 코드를 살펴보면 HiveServer2를 통해 접근을 하고 연결하기 위해 필요한 다양한 파라미터들에 대해 정리가 되어 있는데 인증방식 auth에 LDAP을 사용할 예정이다 python에서 연결을 위해 사용한 명령어는 아래와 같다 from pyHive im..