KServe4 KServe Autoscaling & Zero Scale KServe는 Knative를 기반으로 한 강력한 자동 확장 및 제로 스케일 기능을 제공한다. 이 기능들을 통해 사용자는 효율적인 추론 서비스를 구축할 수 있다. Autoscaling 개요 KServe의 자동 확장은 트래픽 패턴에 따라 pod의 수를 동적으로 조정한다. 주요 개념은 다음과 같다. scaleMetric: 확장의 기준이 되는 메트릭scaleTarget: 해당 메트릭의 목푯값. 이 값은 hard limit이 아닌 soft limit으로 요청이 갑자기 급증하여 이 값을 초과하면 새로운 pod가 생성되는 동안 기존 pod가 지정된 값을 초과하여 처리할 수 있다. scaleMetric 옵션은 다음과 같다. concurrency: 동시 처리 중인 요청 수rps: 초당 요청 수cpu: CPU 사용률m.. 2024. 10. 9. KServe Transformer 개발 가이드 테스트 환경KServe 0.13에서 테스트를 진행하였고, v2 protocol을 사용했다. 개요KServe Transformer는 머신러닝 모델의 입력 전처리와 출력 후처리를 담당하는 컴포넌트다. 사용자가 KServe endpoint에 추론 요청을 보내면, transformer는 사용자가 입력한 input 데이터를 모델에 맞게 전처리한 후 predictor로 요청을 전송한다. 추론이 완료되면 predictor는 transformer로 결괏값을 전송하고, transformer는 결괏값을 사용자 친화적인 값으로 수정 후 사용자에게 전달한다. 이 가이드에서는 Iris 꽃 분류 모델을 위한 Transformer를 개발하는 과정을 설명한다.전처리가 필요하지 않은 데이터라, 전처리 과정은 필요없지만, 구조를 설명하.. 2024. 9. 29. KServe를 이용한 scikit-learn 모델 배포 및 사용 가이드 이 가이드에서는 KServe를 사용하여 scikit-learn 모델을 Kubernetes 클러스터에 배포하고 사용하는 방법을 설명한다. 1. 모델 생성 및 저장먼저, scikit-learn을 사용하여 모델을 준비한다. 이 예제에서는 Iris 데이터셋을 사용한 SVM 분류기를 만들어 배포한다.from sklearn import svmfrom sklearn import datasetsfrom joblib import dump# 데이터 로드iris = datasets.load_iris()X, y = iris.data, iris.target# 모델 생성 및 학습clf = svm.SVC(gamma='scale')clf.fit(X, y)# 모델을 'model.joblib' 파일로 저장dump(clf, 'model... 2024. 9. 26. kserve 사용 및 설정 가이드 kserve 사용법 및 설정 방법을 소개한다.kubeflow를 설치할 때 함께 설치된 kserve v0.13.0을 사용한다. kubeflow 설치는 다음 문서를 참고한다. (kubeflow 1.9.0 설치하기) 1. CSRF 오류 해결kubeflow에서 KServe Endpoints를 클릭하면 "[403] Could not find CSRF cookie XSRF-TOKEN in the request." 에러 메시지가 출력된다. 이를 해결하기 위해서는 ConfigMap을 수정해야 한다. 다음 커맨드를 입력해 ConfigMap 편집 모드에 진입한다.kubectl edit cm -n kubeflow kserve-models-web-app-config ConfigMap을 아래와 같이 수정한다.apiVersion.. 2024. 9. 24. 이전 1 다음 반응형
