일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- jupyter
- hadoop
- MapReduce
- slack app
- execution_date
- NoSQL
- airflow
- Kafka
- re
- Scala
- yarn
- HDP
- LDAP
- python
- ambari
- 정규표현식
- HBase
- 람다 아키텍처
- docker
- Lambda architecture
- slack
- java
- Windows
- HIVE
- 빅데이터
- HDFS
- SlackWebhookOperator
- Example DAG
- Namenode
- Service
Archives
- Today
- Total
목록Celery Executor (1)
IT 삽질기
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/AeeXo/btrcNlydmfM/bv7VvhZHiX8GtjnAOWOEk0/img.png)
이번 글에서는 Airflow의 LocalExecutor과 CeleryExecutor에 대해서 알아보도록 하자. Airflow에서 제공하는 Executor의 종류는 여러가지가 있지만 여기서는 이 두가지만 자세하게 비교하도록 한다. Executor 먼저 Executor이 뭔지 알아보도록 하자. Airflow에서 이야기하는 Executor은 task가 실행되는 매커니즘으로 Executor을 어떻게 설정하느냐에 따라 task 실행방식이 달라지는 것으로 이해하면 될 것 같다. Airflow에서 제공하는 전체 Executor은 아래의 링크에서 확인할 수 있다. https://airflow.apache.org/docs/apache-airflow/stable/executor/index.html Sequential Ex..
BigData/Airflow
2021. 8. 20. 23:51