airflow hbase operator1 airflow custom operator 개발 가이드: hbase operator 개발하기 airflow에서 hbase custom operator를 개발하는 방법을 소개한다. 이 예제에서는 HBaseBatchPutOperator와 HBaseScanOperator 두 개의 custom operator를 개발하였고, 아래 링크에서 개발한 hbase hook을 사용했다. airflow custom hook 가이드 : airflow custom hook 개발 가이드: hbase hook 개발하기 1. Custom Operator의 구조custom operator는 일반적으로 다음과 같은 구조를 가진다.airflow의 BaseOperator를 상속받는다.__init__ 메서드를 정의해 필요한 매개변수를 설정한다.execute 메서드를 구현해 실제 작업을 수행한다.2. 전체 코드 `dags/includ.. 2024. 9. 12. 이전 1 다음 반응형
