일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- slack app
- HDP
- docker
- 정규표현식
- SlackWebhookOperator
- yarn
- Kafka
- HDFS
- 람다 아키텍처
- execution_date
- java
- HBase
- Example DAG
- MapReduce
- airflow
- python
- 빅데이터
- ambari
- Namenode
- jupyter
- NoSQL
- Scala
- slack
- Service
- Windows
- re
- hadoop
- LDAP
- HIVE
- Lambda architecture
Archives
- Today
- Total
목록jinja (1)
IT 삽질기
Airflow에서 Jinja template 사용하기
Airflow에서는 Jinja2 template를 내장하고 있어 이를 활용할 수 있는데, Jinja2 template에 대한 자세한 내용은 Jinja Document를 참고하기 바란다. https://jinja.palletsprojects.com/en/3.0.x/ Jinja2 template를 활용할 수 있는 방법에는 어떤것이 있을까 Airflow를 이용할 때, batch job을 실행하는 경우 현재 날짜에 대한 정보가 필요할 수 있다. 예를 들어 글 작성 날짜인 2021-05-19 라는 값을 Hive Query에 이용할 수 있을 것이다. 이런 경우 어떻게 해야할까 Dags에 직접 입력하는 방법도 있지만 그렇게 동작시키는 경우 매번 값을 바꿔 실행해주어야 한다. 이런 경우 Jinja template와 A..
BigData/Airflow
2021. 5. 19. 22:23