本指南演示如何在 AWS 上构建每秒可处理数百万条请求的实时机器学习（ML）推理解决方案。通过在 Amazon Elastic Container Service（Amazon ECS）上托管解决方案的机器学习模型，并使用网络负载均衡器将请求路由到机器学习服务器，您可以实现低延迟并支持实时和程序化广告中常见的高吞吐量推理要求。本指南提供了应用机器学习进行广告请求筛选的示例，并演示了如何构建可以模拟发送到机器学习推理服务器的基于 OpenRTB 的高吞吐量请求的客户端应用程序。

请注意：[免责声明]

架构图

在此架构图中，步骤 A-B 涉及数据科学家。步骤 1-4 涉及发布者

下载架构图 PDF 

Well-Architected 支柱

当您在云中构建系统时，AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool，您可以通过回答每个支柱的一组问题，根据这些最佳实践来检查您的工作负载。

上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构，您应该遵循尽可能多的 Well-Architected 最佳实践。

  • Amazon CloudWatch 监控 Amazon ECS 集群的性能（包括 CPU 和内存）以及通过网络负载均衡器发送的传入请求。您的 CloudWatch 控制面板（作为 AWS CloudFormation 脚本的一部分而创建）可全面查看传入请求的数量及其相关的延迟。通过使用 CloudWatch 来可视化和分析性能和延迟，您可以更好地识别应用程序中的任何瓶颈。

    阅读《卓越运营》白皮书 

  • 通过将所有 AWS Identity and Access Management（IAM）策略的范围缩小到服务正常运行时所需的最低权限，您可以限制对资源进行未经授权的访问。

    阅读《安全性》白皮书 

  • Amazon ECS 集群运行维持 EC2 实例所需容量的服务定义。如果其中一个实例不可用，则新实例将自动启动并注册到 Amazon ECS 集群中作为运行状况良好的目标，以接收网络负载均衡器路由的传入请求。

    阅读《可靠性》白皮书 

  • 与 Amazon ECS 通信的网络负载均衡器支持适合此使用案例的低毫秒延迟和高吞吐量。

    阅读《性能效率》白皮书 

  • Amazon EC2 Auto Scaling 组允许您在所需的容量下运行应用程序，同时为基于负载的扩缩提供动态支持。自动扩缩会根据负载和扩缩策略来增加或减少基础设施。这可以帮助您控制与运行应用程序相关的成本。

    阅读《成本优化》白皮书 

  • 基于 Amazon EC2 的 Amazon ECS 集群允许您为特定工作负载选择适当的硬件类型和配置，以便高效运行。因此，您可以最大限度地提高利用率并避免过度预置资源。本指南专为低延迟和高性能的模型推理工作负载而设计，因此相应的 EC2 实例类型由 AWS Graviton3 提供支持。该服务消耗的能源最多可减少 60%，性能与同类 EC2 实例相同，从而帮助您减少碳足迹。

    阅读《可持续性》白皮书 

实施资源

提供了在 AWS 账户中进行实验和使用的详细指南。构建指南的每个阶段（包括部署、使用和清理）都将被检查，以便为部署做好准备。

示例代码为起点。它经过行业验证，是规范性但不是决定性的，可以帮助您开始。

打开实施指南
GitHub 上的开放示例代码

相关内容

[主题]
[内容类型]

[标题]

[子标题]
此[博客文章/电子书/指南/示例代码]演示了如何 [插入简短描述]。

免责声明

示例代码；软件库；命令行工具；概念验证；模板；或其他相关技术（包括由我方人员提供的任何前述项）作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议（以适用者为准）向您提供。您不应将这些 AWS 内容用在您的生产账户中，或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容，例如示例代码，以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源（例如，运行 Amazon EC2 实例或使用 Amazon S3 存储）而产生 AWS 费用。

本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指导是一个技术起点，您可以在部署架构时自定义与第三方服务的集成。

此页内容对您是否有帮助？

 反馈