xcom backend1 S3에 XCom 저장하기: XComObjectStorageBackend 설정 가이드 XCom(Cross-communication)은 태스크 간 데이터를 공유하는 기능이다. 기본적으로 XCom 데이터는 Airflow 메타데이터 데이터베이스에 저장되지만, 대용량 데이터를 처리할 때는 이 방식이 제한적일 수 있다. XComObjectStorageBackend을 사용해 XCom을 object storage에 저장하면 이런 제약에서 벗어날 수 있다. XComObjectStorageBackend 개요 XComObjectStorageBackend는 Apache Airflow의 공식 프로바이더 패키지에 포함된 기능으로 XCom 데이터를 object storage에 저장할 수 있게 해준다. XComObjectStorageBackend 설정 및 구성 1. 필요한 패키지 설치Amazon Web Ser.. 2024. 9. 16. 이전 1 다음 반응형
