IT 삽질기

Airflow Example DAG 제거하기 본문

BigData/Airflow

Airflow Example DAG 제거하기

화이팅빌런 2021. 9. 19. 21:01

이번 글에서는 Airflow 설치 시 기본적으로 생성되는 Example DAG를 제거하는 방법에 대해서 알아보도록 하자.

Example DAG

Example DAG란 Airflow를 설치하고 실행시키면 기본적으로 DAG에 등록되어 있는 DAG 항목들을 말하며, Airflow의 기능들에 대해 알아볼 때는 사용하기 좋지만, 실 운영환경에서는 운영 DAG와 섞여 혼란을 유발할 수 있다.

 

airflow.cfg 파일에서 기본값으로 설정된 내용 때문에 example DAG들이 보이게 되며, 해당 설정값을 변경하면 더 이상 보이지 않게 된다. 먼저 설정값을 알아보도록 하자. airflow.cfg 파일에 load_examples가 True로 되어 있는 것을 확인할 수 있다. 일단 이 설정값을 False로 변경해보자.

load_example를 False로 변경한 후에도 DAGs에는 Example들이 남아있는데, 이는 db에 이미 해당 DAG에 대한 정보가 남아있기 때문이다. airflow db init 명령어를 통해 DB에 남아있는 DAG에 대한 내용을 지워줘야 한다.

airflow db init

해당 명령어를 실행한 후 마지막으로 webserver, scheduler을 모두 재시작 시켜주면 더 이상 example DAG들은 보이지 않게 된다.

'BigData > Airflow' 카테고리의 다른 글

Airflow execution_date 이해하기  (4) 2021.09.30
Airflow Xcom 사용하기  (0) 2021.09.24
Airflow SlackOperator 사용하기  (0) 2021.09.16
Airflow 서비스 등록하기  (0) 2021.09.04
Airflow Local Executor와 Celery Executor  (0) 2021.08.20
Comments