airflow connection2 airflow 외부 시스템 이용하기 -2: ImpalaHook, S3Hook impala, s3 등의 외부 시스템을 이용하는 방법을 설명한다.1. Impala 연동하기impala provider 설치Impala connection을 생성하기 위해 provider를 설치합니다.apache-airflow-providers-apache-impala connection 생성하기host에는 impala coordinator의 주소를 입력합니다. coordinator가 없다면 impala daemon 중 하나의 주소를 입력합니다. Impala와 연동하기Impala provider는 operator를 제공하지 않고, hook만 제공하기에, hook을 사용해 Impala에 쿼리를 실행해야 합니다.import pendulumfrom airflow.decorators import dag, task.. 2024. 8. 17. airflow connection과 hook connection은 airflow가 외부서비스과 통신하기 위한 url, id, password 등의 정보를 저장하는 기능이다. 사용자가 hook에 connection 정보를 입력하면, hook은 외부 시스템과의 연결을 생성한다. connection 생성connection을 생성하기 위해서는 별도의 provider를 설치해야한다. apache-airflow-providers-postgres를 설치한다.provider를 설치한 후 airflow를 재시작하면 airflow ui에서 postgres 연결 정보를 가진 connection을 추가할 수 있다.pip install apache-airflow-providers-postgres connection type을 postgres로 한 후 연결 정보를 입력한다.. 2024. 8. 10. 이전 1 다음 반응형
