| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- SlackWebhookOperator
- HDFS
- Service
- Windows
- Lambda architecture
- airflow
- execution_date
- MapReduce
- slack app
- HDP
- docker
- HBase
- yarn
- java
- 람다 아키텍처
- jupyter
- python
- HIVE
- re
- Example DAG
- Scala
- hadoop
- 빅데이터
- 정규표현식
- LDAP
- Namenode
- Kafka
- NoSQL
- ambari
- slack
- Today
- Total
목록docker (3)
IT 삽질기
Airflow 2.0 설치하기(4)
지난번까지 Airflow를 설치하고, mysql과 연동하는 작업까지 마무리 했다. 오늘은 실질적으로 DAG를 만들어 동작시켜보도록 하자 2021.01.27 - [BigData/Airflow] - Airflow 2.0 설치하기(1) 2021.01.29 - [BigData/Airflow] - Airflow 2.0 설치하기(2) 2021.03.21 - [BigData/Airflow] - Airflow 2.0 설치하기(3) 설치가 완료되었으니 webserver, scheduler을 실행시켜보도록 하자 webserver 실행 -D 옵션은 daemon 형식으로 실행하는 옵션으로 -D 옵션만 이용한다 airflow webserver -D WebServer가 실행되었으면 PC에서 확인이 가능하다 기존에 접근했던 것과 ..
Docker을 이용한 Kafka 시작하기
Kafka 시작하기 Docker을 이용해 Kafka를 시작해보자 docker hub에 있는 이미지를 사용했으며 사용한 이미지는 아래의 링크를 참고하기 바란다 hub.docker.com/r/wurstmeister/kafka github.com/wurstmeister/kafka-docker docker-compose를 사용하기 위해 github에서 다운받는다 git clone https://github.com/wurstmeister/kafka-docker.git 다운받은 후 compose 파일을 수정한다. broker을 하나만 올려서 테스트할 것이기 때문에 docker-compose-single-broker.yml 파일을 수정했으며, 수정한 내용은 아래와 같다 ip에는 사용하고 있는 pc의 ip를 넣어주면 ..
Windows WSL Version up 및 초기화
Windows WSL Version Up Windows에서 Docker Desktop를 사용하던 중 WSL Version에 관련된 이슈 발생 메뉴얼을 찾아본 결과 docs.docker.com/docker-for-windows/wsl/ Docker Desktop WSL 2 backend docs.docker.com WSL버전에 따른 문제인 것으로 확인 이전에 설치했던 WSL1 Version에 대한 지원은 하지 않으니 WSL2 Version을 사용해야 함 위의 메뉴얼에 나온 내용으로 wsl 버전 확인 기존에 설치되어 있는 Ubuntu에 대한 버전업을 진행하는 것으로 결정 wsl.exe --set-version 명령어를 이용해 기존 1 Version이였던 Ubuntu를 2로 변경 Docker에서 Refresh..