Amazon SageMaker HyperPod 现支持针对推理工作负载的数据捕获功能

发布于: 2026年5月20日

Amazon SageMaker HyperPod 现在支持针对推理工作负载的数据捕获功能，这项新功能可将来自生产端点的推理请求与响应有效载荷记录到 Amazon S3。如果客户在 HyperPod 上部署生成式人工智能模型，则需了解模型的输入和输出，以便检测漂移、排查生产问题、构建评估数据集并持续改进其部署的模型，但在此之前，客户必须在该服务之外构建自定义的日志记录管道，才能获得相应的信息。

借助数据捕获功能，客户能够：利用真实的生产流量来训练推测解码草稿模型，使其性能高于通用草稿模型；基于生产数据构建评估管道；将真实场景的输入用于微调作业；以及维护审计跟踪记录以实现合规性。客户可以在每个端点上选择捕获推理流量的位置，即在 SageMaker 端点、负载均衡器或模型容器组（pod）上进行捕获。捕获到的数据会异步传输到其 Amazon S3 存储桶，不会阻塞推理过程，并支持可配置的采样与客户管理的 AWS KMS 加密。您可以在通过 HyperPod Inference Operator 部署模型时启用数据捕获功能，并将捕获到的数据用于 Amazon SageMaker Model Monitor 以及您现有的评测、微调和草稿模型训练工作流程中。

在支持 Amazon SageMaker HyperPod 的所有 AWS 区域中，使用 EKS 编排工具的 SageMaker HyperPod 集群均可使用此功能。要了解更多信息，请参阅 HyperPod 上的推理数据捕获。