本指南展示了如何使用 Amazon SageMaker 来支持高吞吐量模型推理工作负载，例如程序化广告和实时出价（RTB）。例如，您的需求方平台可以使用机器学习（ML）模型来确定是否参与广告活动竞价以及出价是多少。通过使用本指南，您可以经济高效地扩展到每秒数百万个请求，且延迟较低。

注意：在开始本指南之前，您需要对模型进行容器化处理。SageMaker 模型训练提供了广泛的内置算法和框架（例如适用于 scikit-learn 和 XGBoost 的模型和框架），可用于训练和调优机器学习模型。或者，您也可以自带脚本。

请注意：[免责声明]

架构图

[架构图描述]

下载架构图 PDF 

开始使用

部署本指南

Well-Architected 支柱

当您在云中构建系统时，AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool，您可以通过回答每个支柱的一组问题，根据这些最佳实践来检查您的工作负载。

上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构，您应该遵循尽可能多的 Well-Architected 最佳实践。

  • Amazon CloudWatch 汇总日志并创建可观测性指标和控制面板，提供可视化效果以帮助您识别性能瓶颈和对请求进行故障排除。您还可以设置 CloudWatch 警报来识别可能出现问题的趋势，并在它们影响您的应用程序或业务之前提醒您。此外，您还可以使用可跟踪账户活动的 AWS CloudTrail 来实现监管和风险审计，并提升您 AWS 账户的合规性。

    阅读《卓越运营》白皮书 

  • 最低权限原则是缩小安全风险影响面的行业最佳实践。AWS Identity and Access Management（IAM）策略使用最低权限访问，使每项策略都仅限于特定资源和操作。此外，为了实现分层安全，本指南对传输中数据进行加密并通过 HTTPS 进行传输，而 AWS Key Management Service（AWS KMS）密钥则会对 Amazon S3 存储桶中的静态数据进行加密。最后，实时出价（RTB）应用程序只能通过 PrivateLink 访问 SageMaker 端点和 Amazon S3，从而增强您的安全状况。

    阅读《安全性》白皮书 

  • 本指南中使用的所有服务都是无服务器的，可以根据工作负载需求自动横向扩展。在 SageMaker 推理端点中，Amazon EC2 Auto Scaling 组可跨可用区启动实例，从而实现高可用性。此外，Amazon S3 还支持 S3 版本控制等功能，这可帮助您维护数据版本控制、防止意外删除，以及将数据复制到相同或不同的 AWS 区域。借助保存、检索和还原 Amazon S3 中存储的某个对象的每个版本的功能，您可以从意外的用户操作和应用程序故障中进行恢复。

    阅读《可靠性》白皮书 

  • AWS 托管服务可以减轻您的基础设施管理和扩展负担，让您专注于满足各种业务需求。在本指南中，SageMaker 可管理您的模型推理端点的托管工作。它在部署时从 Amazon S3 存储桶中检索模型，然后托管最优的实施运行时容器。通过使用其推理推荐器和负载测试工具，SageMaker 可以根据吞吐能力和产生的延迟选择最佳实例大小。这使它能够通过负载均衡器和 Amazon EC2 Auto Scaling 组管理推理计算扩展。

    阅读《性能效率》白皮书 

  • 本指南使用无服务器技术和托管服务，因此您只需为所消耗的资源付费。您还可以选择某些选项以进一步降低成本。例如，Amazon SageMaker 节省计划提供基于用量的灵活定价模式，您需要达到稳定的承诺用量。您还可以从针对特定使用案例和访问模式构建的一系列 Amazon S3 存储类中进行选择，从而经济高效地存储数据。例如，如果您使用 Amazon S3 Intelligent-Tiering 处理访问模式不断变化、未知或不可预测的数据（例如数据湖、分析或新应用程序），它将通过在频繁访问、不频繁访问和极少访问层之间移动数据来自动优化成本。此外，通过使用 PrivateLink 保护通过私有网络的流量，您还可以降低数据传输费用。

    阅读《成本优化》白皮书 

  • 本指南使用无服务器技术，可通过扩缩满足需求，从而使资源在闲置时不会消耗能源。此外，SageMaker 端点使用最适合模型训练和推理工作负载需求的自定义基础设施，帮助您以更少的资源和更低的碳足迹取得更多成果。

    阅读《可持续性》白皮书 

相关内容

[主题]
[内容类型]

[标题]

[子标题]
此[博客文章/电子书/指南/示例代码]演示了如何 [插入简短描述]。

免责声明

示例代码；软件库；命令行工具；概念验证；模板；或其他相关技术（包括由我方人员提供的任何前述项）作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议（以适用者为准）向您提供。您不应将这些 AWS 内容用在您的生产账户中，或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容，例如示例代码，以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源（例如，运行 Amazon EC2 实例或使用 Amazon S3 存储）而产生 AWS 费用。

本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指导是一个技术起点，您可以在部署架构时自定义与第三方服务的集成。

此页内容对您是否有帮助？

 反馈