airflow sensor2 airflow custom sensor 개발 가이드: hbase sensor 개발하기 airflow에서 hbase custom sensor를 개발하는 방법을 소개한다. 이 예제에서는 HBaseRowExistsSensor를 개발하여 특정 row key가 HBase 테이블에 존재하는지 확인한다. 아래 링크에서 개발한 hbase hook을 사용했다. airflow custom hook 가이드 : airflow custom hook 개발 가이드: hbase hook 개발하기 1. Custom Sensor의 구조 custom sensor는 일반적으로 다음과 같은 구조를 가진다. airflow의 BaseSensorOperator를 상속받는다.__init__ 메서드를 정의해 필요한 매개변수를 설정한다.poke 메서드를 구현해 실제 센싱 작업을 수행한다. mode에 poke와 reschedule가 있는.. 2024. 9. 14. airflow sensor: poke와 reschedule 1. Sensor 개요Sensor는 Airflow에서 특정 조건이 충족될 때까지 기다리는 operator이다. 주요 특징은 다음과 같다.정의된 조건이 True가 될 때까지 주기적으로 확인한다.조건이 충족되면 다음 태스크를 실행할 수 있도록 한다.지정된 timeout까지 조건이 충족되지 않으면 실패한다.2. Sensor의 실행 모드Sensor는 두 가지 주요 실행 모드를 가진다: poke와 reschedule2.1 Poke 모드기본 실행 모드이다.특징:전체 실행 시간 동안 worker slot을 점유한다.조건 체크 사이에 sleep 상태로 존재한다.다음과 같이 실행되는 동안 SLOT을 점유한다.로그 예시:[2024-08-17, 10:26:30 UTC] {python.py:75} INFO - Poking c.. 2024. 8. 13. 이전 1 다음 반응형
