宣布推出 Amazon SageMaker 推理推荐器

今天，我们很高兴地宣布推出 Amazon SageMaker 推理推荐器，这是一项全新的 Amazon SageMaker Studio 功能，可以跨机器学习 (ML) 实例自动执行负载测试并优化模型性能。最终，它将缩短 ML 模型从开发到生产所需的时间，并优化与其操作相关的成本。

到目前为止，还没有任何服务能为 MLOps 工程师提供为其模型选择最佳 ML 实例的方法。为了优化成本并最大限度地提高实例利用率，MLOps 工程师必须在需要运行 ML 实例的情况下，运用经验和直觉来选择一种能够很好地为他们以及他们的模型服务的实例类型。此外，考虑到可用的 ML 实例数量众多，而且每个模型几乎都有无限的细微差别，可能需要多次尝试才能选出正确的实例类型。现在，MLOps 工程师可以通过 SageMaker 推理推荐器获得有关运行其模型的最佳实例类型的建议。选择实例后，只需单击几下鼠标，即可立即将其模型部署到选定的实例类型。编写自定义脚本运行性能基准测试和负载测试的日子已经一去不复返了。

对于希望在推送到生产环境之前获取有关其模型执行情况数据的 MLOps 工程师，SageMaker 推理推荐器还允许他们在模拟环境中针对其模型运行负载测试。在部署之前，他们可以指定参数，例如所需的吞吐量、示例有效负载和延迟约束，并根据这些约束在一组选定实例上测试他们的模型。这样，MLOps 工程师就可以收集有关其模型在现实世界中的表现的数据，从而自信地将其投放到生产环境，或者突出显示在将其推向世界之前必须解决的潜在问题。

SageMaker 推理推荐器还有更多隐藏的技巧，可以让 MLOp 工程师的生活更轻松，并确保他们的模型继续以最佳方式运行。MLOp 工程师可以使用 SageMaker 推理推荐器基准测试功能来执行自定义负载测试，以评估在具有特定要求的生产环境中以负载状态进行访问时的模型性能。这些测试的结果可以通过 SageMaker Studio、AWS 开发工具包或 AWS CLI 加载，从而使 MLOps 工程师能够大致了解模型性能、多种配置的比较情况以及与任何利益攸关方共享结果的能力。

了解更多
MLOps 工程师可以通过 Amazon SageMaker Studio、AWS SDK 和 CLI 开始使用 Amazon SageMaker 推理推荐器。Amazon SageMaker 推理推荐器现已在所有提供 SageMaker 的所有 AWS 商业区域（KIX 除外）推出。有关更多信息，请访问 Amazon SageMaker 推理推荐器登录页面。

要开始使用，请参阅 SageMaker 推理推荐器文档。