일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Windows
- 람다 아키텍처
- execution_date
- 빅데이터
- slack app
- slack
- jupyter
- HBase
- Scala
- HDFS
- python
- Lambda architecture
- airflow
- 정규표현식
- HDP
- LDAP
- ambari
- SlackWebhookOperator
- java
- NoSQL
- MapReduce
- Service
- HIVE
- Namenode
- Kafka
- Example DAG
- re
- yarn
- docker
- hadoop
Archives
- Today
- Total
목록Local Executor (1)
IT 삽질기
Airflow Local Executor와 Celery Executor
이번 글에서는 Airflow의 LocalExecutor과 CeleryExecutor에 대해서 알아보도록 하자. Airflow에서 제공하는 Executor의 종류는 여러가지가 있지만 여기서는 이 두가지만 자세하게 비교하도록 한다. Executor 먼저 Executor이 뭔지 알아보도록 하자. Airflow에서 이야기하는 Executor은 task가 실행되는 매커니즘으로 Executor을 어떻게 설정하느냐에 따라 task 실행방식이 달라지는 것으로 이해하면 될 것 같다. Airflow에서 제공하는 전체 Executor은 아래의 링크에서 확인할 수 있다. https://airflow.apache.org/docs/apache-airflow/stable/executor/index.html Sequential Ex..
BigData/Airflow
2021. 8. 20. 23:51