Airflow2.x providers 설치하기

Airflow 1.x대 버전에서는 외부 서비스(HDFS, Hive, sqoop등)을 사용할 때 별도의 패키지를 설치하지 않고 사용할 수 있었다.

Ariflow 2.x대 버전으로 버전이 업그레이드 되며 이 부분이 변경되었다

airflow.apache.org/docs/apache-airflow-providers/

 

위의 링크를 살펴보면, 자세한 설명이 나와있는데,

pip를 이용하여 개별적으로 설치가 가능하며 커스텀 패키지를 개발하여 사용하는 것도 가능하다

 

Airflow에서 제공하는 providers목록은 아래의 링크에 정리되어 있다

airflow.apache.org/docs/

 

Hadoop와 연동해 사용하기 위해서는 HDFS, Hive, Sqoop등을 설치하여 사용하면 되는데,

패키지가 변경되어 만약 Airflow 1.x대의 버전을 사용하다 2.x대의 버전으로 업그레이드를 했다면 DAG 파일의 수정이 필요하다.

변경된 패키지의 내용은 각각의 providers 안에서 확인할 수 있으며, 설치하기 위한 명령어는 아래와 같다

pip install apache-airflow-providers-[providers name]
ex) pip install apache-airflow-providers-apache-hdfs