IT 삽질기

Airflow Sensor란? Sensor는 시간, 파일, 외부 이벤트를 기다리며 해당 조건을 충족해야만 이후의 작업을 진행할 수 있게 해주는 Airflow의 기능으로 Operator와 같이 하나의 task가 될 수 있으며 filesystem, hdfs, hive 등 다양한 형식을 제공한다. 이전글에서 작성한 것과 같이 airflow 2.x의 버전에서는 third party로 분류되는 서비스의 경우 airflow와 별개로 설치가 필요하며 필요에 따라 원하는 package를 설치를 진행하면 된다. 2021.04.03 - [BigData/Airflow] - Airflow2.x providers 설치하기 sensor의 종류는 아래의 링크를 참고하기 바란다. airflow sensor FileSensor 이 글..