| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
- Service
- HDFS
- java
- yarn
- HDP
- airflow
- SlackWebhookOperator
- Example DAG
- NoSQL
- execution_date
- docker
- slack
- ambari
- 정규표현식
- slack app
- MapReduce
- Windows
- hadoop
- jupyter
- 람다 아키텍처
- python
- Lambda architecture
- Kafka
- Scala
- HBase
- 빅데이터
- Namenode
- re
- LDAP
- HIVE
- Today
- Total
목록개발/python (10)
IT 삽질기
pyHive Hive LDAP SASL error
pyHive를 이용해 Hive에 접근하는 경우 발생한 에러에 대해 정리한다 Hive는 LDAP을 이용해 인증을 하는 방식으로 설정되어 있다 hive.server2.authentication LDAP 이런 경우 pyHive를 통해 hive에 접근하는 경우에도 LDAP을 통한 인증이 필요한대 pyHive의 코드를 살펴보자 github.com/dropbox/PyHivegithub.com/dropbox/PyHive/blob/master/pyhive/hive.py 코드를 살펴보면 HiveServer2를 통해 접근을 하고 연결하기 위해 필요한 다양한 파라미터들에 대해 정리가 되어 있는데 인증방식 auth에 LDAP을 사용할 예정이다 python에서 연결을 위해 사용한 명령어는 아래와 같다 from pyHive im..
Mac에 jupyter 설치하기
Mac 환경에서 jupyter 설치하기 Mac 환경에서 python 사용을 위한 jupyter 설정에 대해 알아보도록 하자. mac 환경 1. python3 설치 확인 최신 mac에는 python3가 설치되어 있으므로 python3 설치 부분은 생략하도록 한다. 설치되어 있지 않은 경우에는 brew를 통해 설치 https://dejavuqa.tistory.com/132 Mac에 Python3.x 설치 (brew) Python.org에서 package를 다운받아 설치하다 brew로 모든 package를 관리하고 싶어졌습니다. 그래서 이번엔 brew를 이용해 python 3를 설치해 보겠습니다. 먼저 Home Brew 를 설치 합니다. [http://dejavuqa.tist.. dejavuqa.tistory..