일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- HDP
- LDAP
- Kafka
- Lambda architecture
- yarn
- 정규표현식
- docker
- HDFS
- ambari
- HIVE
- Example DAG
- MapReduce
- slack
- python
- java
- Windows
- jupyter
- 빅데이터
- 람다 아키텍처
- SlackWebhookOperator
- NoSQL
- Scala
- HBase
- airflow
- execution_date
- slack app
- Namenode
- Service
- re
- hadoop
Archives
- Today
- Total
목록Executor (1)
IT 삽질기
Airflow Local Executor와 Celery Executor
이번 글에서는 Airflow의 LocalExecutor과 CeleryExecutor에 대해서 알아보도록 하자. Airflow에서 제공하는 Executor의 종류는 여러가지가 있지만 여기서는 이 두가지만 자세하게 비교하도록 한다. Executor 먼저 Executor이 뭔지 알아보도록 하자. Airflow에서 이야기하는 Executor은 task가 실행되는 매커니즘으로 Executor을 어떻게 설정하느냐에 따라 task 실행방식이 달라지는 것으로 이해하면 될 것 같다. Airflow에서 제공하는 전체 Executor은 아래의 링크에서 확인할 수 있다. https://airflow.apache.org/docs/apache-airflow/stable/executor/index.html Sequential Ex..
BigData/Airflow
2021. 8. 20. 23:51