airflow s31 airflow 외부 시스템 이용하기 -2: ImpalaHook, S3Hook impala, s3 등의 외부 시스템을 이용하는 방법을 설명한다.1. Impala 연동하기impala provider 설치Impala connection을 생성하기 위해 provider를 설치합니다.apache-airflow-providers-apache-impala connection 생성하기host에는 impala coordinator의 주소를 입력합니다. coordinator가 없다면 impala daemon 중 하나의 주소를 입력합니다. Impala와 연동하기Impala provider는 operator를 제공하지 않고, hook만 제공하기에, hook을 사용해 Impala에 쿼리를 실행해야 합니다.import pendulumfrom airflow.decorators import dag, task.. 2024. 8. 17. 이전 1 다음 반응형
