概览
本指南展示了如何使用 Amazon SageMaker 来支持高吞吐量模型推理工作负载，例如程序化广告和实时出价（RTB）。例如，您的需求方平台可以使用机器学习（ML）模型来确定是否参与广告活动竞价以及出价是多少。通过使用本指南，您可以经济高效地扩展到每秒数百万个请求，且延迟较低。
注意：在开始本指南之前，您需要对模型进行容器化处理。SageMaker 模型训练提供了广泛的内置算法和框架（例如 scikit-learn 和 XGBoost），可用于训练和调整机器学习模型。或者，您也可以自带脚本。
工作原理
这些技术细节包含一张架构图，用于说明如何有效使用本解决方案。该架构图展示了关键组件及其相互作用，并逐步概述了架构的结构和功能。
Well-Architected 支柱
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构，您应该遵循尽可能多的 Well-Architected 最佳实践。
Amazon CloudWatch 汇总日志并创建可观测性指标和控制面板，提供可视化效果以帮助您识别性能瓶颈和对请求进行故障排除。您还可以设置 CloudWatch 警报来识别可能出现问题的趋势，并在它们影响您的应用程序或业务之前提醒您。此外，您可以使用跟踪账户活动的 AWS CloudTrail 来启用监管和风险审计，并促进您的 AWS 账户的合规性。
最低权限原则是缩小安全风险影响面的行业最佳实践。AWS 身份和访问管理 (IAM) 策略使用最低权限访问，因此每项策略都仅限于特定的资源和操作。此外，为了实现分层安全，本指南对传输中的数据进行加密并通过 HTTPS 进行传输，而 AWS 密钥管理服务 (AWS KMS) 密钥则加密了 A mazon S3 存储桶中的静态数据。最后，实时竞价（RTB）应用程序只能通过P rivateLink 访问 SageMaker 终端节点和亚马逊S3，从而增强您的安全状况。
AWS 托管服务可以减轻您的基础设施管理和扩展负担，让您专注于满足各种业务需求。在本指南中，SageMaker 可管理您的模型推理端点的托管工作。它在部署时从 Amazon S3 存储桶中检索模型，然后托管最优的实施运行时容器。通过使用其推理推荐器和负载测试工具，SageMaker 可以根据吞吐能力和产生的延迟选择最佳实例大小。这使它能够通过负载均衡器和 Amazon EC2 Auto Scaling 组管理推理计算的扩展。
本指南使用无服务器技术和托管服务，因此您只需为所消耗的资源付费。您还可以选择某些选项以进一步降低成本。例如，亚马逊SageMaker 储蓄计划提供灵活的、基于使用量的定价模式，以换取对稳定使用量的承诺。您还可以从针对特定用例和访问模式构建的一系列 Amazon S3 存储类别中进行选择，从而经济高效地存储数据。例如，如果您使用 Amazon S3 Intelligent-Tiering 处理访问模式不断变化、未知或不可预测的数据（例如数据湖、分析或新应用程序），它将通过在频繁、不频繁和罕见的访问层之间移动数据来自动优化成本。此外，通过使用 PrivateLink保护私有网络的流量，您可以降低数据传输费用。
本指南使用无服务器技术，可通过扩缩满足需求，从而使资源在闲置时不会消耗能源。此外，SageMaker 端点使用最适合模型训练和推理工作负载需求的自定义基础架构，帮助您以更少的资源和更低的碳足迹取得更多成果。
免责声明
找到今天要查找的内容了吗？
请提供您的意见，以便我们改进网页内容的质量。