Amazon SageMaker HyperPod 現在支援推論工作負載的資料擷取

張貼日期: 2026年5月20日

Amazon SageMaker HyperPod 現在支援推論工作負載的資料擷取，這是一項新功能，可記錄從生產端點到 Amazon S3 的推論請求和回應承載。在 HyperPod 上部署生成式 AI 模型的客戶需要掌握模型的輸入和輸出，以偵測漂移、疑難排解生產問題、建立評估資料集，以及持續改進部署的模型，但客戶先前必須在服務以外建置自訂記錄管線才能獲得這種可見性。

有了資料擷取功能，客戶就能從實際生產流量訓練推測解碼草稿模型，以取得比通用草稿模型更好的效能、透過生產資料建立評估管道、使用真實的輸入支援微調工作，並維護稽核軌跡以確保合規性。客戶能夠選擇在每個端點、SageMaker 端點、負載平衡器或模型 Pod 上擷取推論流量的位置。系統會以非同步方式將擷取的資料傳遞至 Amazon S3 儲存貯體，而不會阻止推論，並支援可設定的取樣功能和客戶自管的 AWS KMS 加密。您能夠在透過 HyperPod 推論運算子部署模型時啟用資料擷取功能，並與 Amazon SageMaker Model Monitor 及現有的評估、微調和草稿模型訓練工作流程一起使用擷取的資料。

此功能在支援 Amazon SageMaker HyperPod 的所有 AWS 區域適用於使用 EKS 協調器的 SageMaker HyperPod 叢集。若要進一步了解，請參閱在 HyperPod 上擷取資料以進行推論。