scheduledsparkapplication1 Kubernetes에서 Spark 사용하기: spark operator를 이용한 spark on kubernetes 설정 및 사용 방법 spark on k8s 환경을 구축하는 방법과 간단한 사용 방법을 설명한다. 1. Spark Operator 소개 spark operator는 kubernetes 환경에서 spark application의 배포와 관리를 간소화하는 커스텀 컨트롤러이다.crd에 따라 동적으로 driver pod과 executor pod가 실행된다. 주요 구성 요소는 다음과 같다.1. Custom Resource Definitions (CRDs) SparkApplication: 단일 spark application을 정의한다.ScheduledSparkApplication: 주기적으로 실행되는 spark application을 정의한다.2. operatorCRD를 감지하고 필요한 kubernetes 리소스를 생성, 업데이트,.. 2024. 9. 9. 이전 1 다음 반응형