custom sensor1 airflow custom sensor 개발 가이드: hbase sensor 개발하기 airflow에서 hbase custom sensor를 개발하는 방법을 소개한다. 이 예제에서는 HBaseRowExistsSensor를 개발하여 특정 row key가 HBase 테이블에 존재하는지 확인한다. 아래 링크에서 개발한 hbase hook을 사용했다. airflow custom hook 가이드 : airflow custom hook 개발 가이드: hbase hook 개발하기 1. Custom Sensor의 구조 custom sensor는 일반적으로 다음과 같은 구조를 가진다. airflow의 BaseSensorOperator를 상속받는다.__init__ 메서드를 정의해 필요한 매개변수를 설정한다.poke 메서드를 구현해 실제 센싱 작업을 수행한다. mode에 poke와 reschedule가 있는.. 2024. 9. 14. 이전 1 다음 반응형
