kserve predictor1 KServe Custom Predictor 이미지 빌드 가이드 - v2 protocol 테스트 환경 KServe 0.13에서 테스트를 진행하였고, v2 protocol을 사용하는 predictor를 개발한다. 개요 KServe를 위한 custom Predictor 이미지를 빌드하는 과정을 소개한다. KServe.Model 기본 클래스는 주로 세 가지 핸들러인 preprocess, predict, postprocess를 정의하고, 이 핸들러들은 순차적으로 실행된다. preprocess의 출력이 predict의 입력으로 전달된다.predict 핸들러는 모델에 대한 추론을 실행한다.postprocess 핸들러는 원시 예측 결과를 사용자 친화적인 추론 응답으로 변환한다. 추가적으로 load 핸들러가 있는데, 이는 로컬 파일 시스템이나 원격 모델 저장소에서 모델을 메모리로 로드하는 데 사용된다. 일.. 2024. 10. 1. 이전 1 다음 반응형