Amazon SageMaker HyperPod, 이제 추론 워크로드를 위한 데이터 캡처 지원
Amazon SageMaker HyperPod가 추론 워크로드에 대한 데이터 캡처를 지원합니다. 이 기능은 프로덕션 엔드포인트에서 Amazon S3로 추론 요청과 응답 페이로드를 기록하는 새로운 기능입니다. HyperPod에 생성형 AI 모델을 배포하는 고객은 드리프트를 감지하고, 프로덕션 문제를 해결하고, 평가 데이터세트를 구축하고, 배포된 모델을 지속적으로 개선하기 위해 모델 입력과 출력에 대한 가시성이 필요한데, 이전에는 이를 위해 서비스 외부에서 사용자 지정 로깅 파이프라인을 구축해야 했습니다.
데이터 캡처를 통해 고객은 실제 프로덕션 트래픽에서 예측 디코딩 드래프트 모델을 훈련하여 일반 드래프트 모델보다 더 나은 성능을 얻고, 프로덕션 데이터로 평가 파이프라인을 구축하고, 실제 입력값을 사용하여 미세 조정 작업을 수행하고, 규정 준수를 위한 감사 추적을 유지할 수 있습니다. 고객은 각 엔드포인트에서 추론 트래픽을 캡처할 위치를 선택할 수 있습니다(SageMaker 엔드포인트, 로드 밸런서 또는 모델 포드 중에서). 캡처된 데이터는 추론을 차단하지 않고 Amazon S3 버킷에 비동기적으로 전송되며 구성 가능한 샘플링과 고객 관리형 AWS KMS 암호화를 지원합니다. HyperPod 추론 연산자를 통해 모델을 배포할 때 데이터 캡처를 활성화하고, 캡처된 데이터를 Amazon SageMaker Model Monitor와 기존 평가, 미세 조정, 드래프트 모델 훈련 워크플로와 함께 사용할 수 있습니다.
이 기능은 Amazon SageMaker HyperPod가 지원되는 모든 AWS 리전에서, EKS 오케스트레이터를 사용하는 SageMaker HyperPod 클러스터에서 사용할 수 있습니다. 자세한 내용은 HyperPod에서 추론을 위한 데이터 캡처를 참조하세요.