xcom1 airflow Xcom Xcom은 Cross-Communications의 약자로 task 간 데이터를 교환하는 데 사용되는 기능이다.key-value 형태로 key, value, timestamp, task_id, dag_id 등의 메타데이터가 db에 저장된다.xcom_push, xcom_pull 메소드를 사용해 Xcom을 push/pull 할 수 있으며, Operator의 반환 값과 taskflow에서 사용하는 argument들은 자동으로 Xcom에 저장된다. 일반적으로는 airflow 메타 디비에 저장되나, custom한 Xcom을 사용하면 s3 등의 별도 저장소에 저장할 수 있다. Xcom 사용 시 유의사항1. Xcom은 SQLAlchemy의 LargeBinary에 저장된다. - SQLite : blob type에 .. 2024. 8. 11. 이전 1 다음 반응형
