发布于: Dec 1, 2021
Amazon SageMaker Inference Recommender 会帮助您选择最佳可用的计算实例和配置来部署机器学习模型，以获得最佳的推理性能和成本。
为部署机器学习模型选择性价比最高的计算实例是一个复杂的迭代过程，可能需要数周的试验。首先，您需要根据模型的资源需求和输入数据的大小，从超过 70 个选项中选择正确的机器学习（ML）实例类型。接下来，您需要为所选择的实例类型优化模型。最后，您需要预置和管理基础设施，以运行负载测试和调优云端配置，从而使性能优化及成本降低。所有这些都会延迟模型部署和上市时间。
Amazon SageMaker Inference Recommender 自动选择正确的计算实例类型、实例数量、容器参数和模型优化，以实现性能最大化和成本最小化。您可以使用来自 SageMaker Studio 的 SageMaker Inference Recommender、AWS Command Line Interface (CLI) 或 AWS SDK，几分钟之内，就可以得到部署您的机器学习（ML）模型的建议。然后，您可以将模型部署到推荐的实例之一，或者在您选择的一组实例类型上运行完全托管式负载测试，而无需担心测试基础设施。您可以在 SageMaker Studio 中查看负载测试的结果，并评估延迟、吞吐量和成本之间的权衡，以选择最优的部署配置。
Amazon SageMaker Inference Recommender 广泛应用于除 AWS 中国以外的所有可用 SageMaker 的区域。如需了解详情，请参阅 SageMaker 模型部署网页和 SageMaker Inference Recommender 文档。