일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- LDAP
- execution_date
- hadoop
- java
- HIVE
- Scala
- HDFS
- 빅데이터
- 람다 아키텍처
- Kafka
- re
- Windows
- slack
- HBase
- docker
- Service
- 정규표현식
- MapReduce
- python
- airflow
- NoSQL
- HDP
- slack app
- yarn
- Namenode
- Lambda architecture
- SlackWebhookOperator
- ambari
- Example DAG
- jupyter
Archives
- Today
- Total
IT 삽질기
pyHive Hive LDAP SASL error 본문
pyHive를 이용해 Hive에 접근하는 경우 발생한 에러에 대해 정리한다
Hive는 LDAP을 이용해 인증을 하는 방식으로 설정되어 있다
<property>
<name>hive.server2.authentication</name>
<value>LDAP</value>
</property>
이런 경우 pyHive를 통해 hive에 접근하는 경우에도 LDAP을 통한 인증이 필요한대
pyHive의 코드를 살펴보자
github.com/dropbox/PyHivegithub.com/dropbox/PyHive/blob/master/pyhive/hive.py
코드를 살펴보면 HiveServer2를 통해 접근을 하고 연결하기 위해 필요한 다양한 파라미터들에 대해 정리가 되어 있는데 인증방식 auth에 LDAP을 사용할 예정이다
python에서 연결을 위해 사용한 명령어는 아래와 같다
from pyHive import hive
conn = hive.Connection(host='server1', port=10000, username='username', password='password', database='default', auth='LDAP')
이 경우 아래와 같은 에러가 발생했다
위와 같은 에러 메세지로 리서치를 진행
stackoverflow.com/questions/30705576/python-cannot-connect-hiveserver2
Stackoverflow에서 비슷한 에러를 발견했다
sasl 관련 패키지 문제인 것으로 확인한 후 설치된 패키지를 확인
위의 패키지만 설치되어 있었고 추가로 패키지 설치를 진행했다
yum install cyrus-sasl-md5 cyrus-sasl-plain
설치되어 있지 않던 2개의 패키지만 추가로 설치
다시 연결 테스트를 진행
정상적으로 연결이 된 것을 확인할 수 있었다
'개발 > python' 카테고리의 다른 글
python datetime <-> 문자열 변경하기 (0) | 2021.08.07 |
---|---|
windows에 jupyter설치하기 (0) | 2021.08.05 |
windows에 python 설치 (0) | 2021.08.04 |
python list 특정 index 값으로 정렬하기 (0) | 2021.06.13 |
Mac에 jupyter 설치하기 (0) | 2019.04.30 |
Comments