本指南展示了广告和营销技术行业的独立软件供应商（ISV）如何通过将客户的大型语言模型（LLM）集成到 ISV 的生成式人工智能（AI）应用程序中来提高客户参与度。Amazon Bedrock 提供了单一 API 方法，可帮助 ISV 安全地访问由 Amazon 和其他领先的人工智能公司提供的自定义基础模型（FM）和基本模型。这种方法允许 ISV 创建生成式人工智能应用程序，根据品牌的专有知识来源提供最新答案。

请注意：[免责声明]

架构图

[架构图描述]

下载架构图 PDF 

Well-Architected 支柱

当您在云中构建系统时，AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool，您可以通过回答每个支柱的一组问题，根据这些最佳实践来检查您的工作负载。

上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构，您应该遵循尽可能多的 Well-Architected 最佳实践。

  • CloudWatch 汇总日志并创建可观测性指标和控制面板，用以监控模型调用次数、延迟、输入或输出令牌，或可能影响指南的错误。通过可视化和分析这些日志，您可以更好地识别性能瓶颈，并对请求进行故障排除。此外，您可以使用 CloudWatch 警报，识别可能出现问题的趋势，以免它们影响您的应用程序或业务。此外，CloudTrail 还会捕获对 Amazon Bedrock 的 API 调用，以及其他账户活动。您可以使用 CloudTrail 来启用运营和风险审计与监管，并促进您的 AWS 账户的合规性。

    阅读《卓越运营》白皮书 

  • 在执行模型微调时，您可以在 Amazon S3 内存储带标签的加密数据，并使用 AWS KMS 或默认的 Amazon S3 密钥。然后，您可以为 Amazon Bedrock 指定 IAM 角色，以允许其访问 S3 存储桶。此外，当在 Amazon Bedrock 拥有的 S3 存储桶中处于静态时，自定义模型构件还将使用 AWS 密钥进行加密。您可以使用 IAM 访问策略为不同的 API 调用设置最低权限访问控制，从而减少安全风险的暴露面。此外，为实现 VPC 之间的私有连接并避免在互联网中暴露流量，您可以通过 AWS PrivateLink 使用 API Gateway 来与其他 ISV 共享 Amazon Bedrock 端点。

    阅读《安全性》白皮书 

  • Amazon Bedrock、Amazon S3、Lambda 和 API Gateway 是无服务器服务，可根据工作负载需求自动横向扩展并跨越多个可用区（AZ），帮助它们在单个可用区发生服务中断时保持可用性。此外，Amazon Bedrock 在 Amazon S3 中存储训练和验证数据并使用 Lambda 调用操作，从而支持可靠性。Amazon S3 允许您设置生命周期配置、启用版本控制，以及为跨区域复制设置对象锁定。Lambda 支持版本控制、预留并发、重试和死信队列等功能，而 API Gateway 允许您为 API 配置自定义节流。

    阅读《可靠性》白皮书 

  • 本指南使用无服务器托管服务来实现高性能效率。例如，Amazon S3 提供稳定的低延迟和高吞吐量性能，并且它会自动扩展以支持高请求率。 API Gateway 可以处理大量流量，并且可以缓存 Amazon Bedrock 端点响应，从而减少对端点的调用次数并改善请求延迟情况。 Lambda 可自动管理扩展，无需手动配置即可优化各个函数，从而减少延迟、提高吞吐量并帮助保持稳定的性能。

    阅读《性能效率》白皮书 

  • 与自己管理基础设施的成本相比，Lambda 和 Amazon S3 可以帮助降低成本。Amazon S3 允许您在专门针对特定使用案例和访问模式构建的一系列存储类别中存储数据，从而帮助您根据业务需求优化成本。使用 Lambda，您只需按使用的计算时间付费。此外，Amazon Bedrock 提供多样化模型产品，因此您可以根据自己的具体使用案例和预算来选择具有成本效益的 LLM。您可以使用 CloudWatch 中跟踪的指标来分析成本驱动因素并确定改进机会，从而使您能够适当调整人工智能需求的规模，避免资源过度预置。

    阅读《成本优化》白皮书 

  • Amazon Bedrock 是一项完全托管的人工智能服务，可减少您管理自己的基础设施的需求。它可与 Lambda 等无服务器服务配合使用，无服务器服务可根据工作负载需求自动纵向和横向扩展，因此服务器无需持续运行。总体而言，本指南中使用的服务可通过优化的人工智能部署来提高效率并帮助您减少碳足迹。

    阅读《可持续性》白皮书 

实施资源

提供了在 AWS 账户中进行实验和使用的详细指南。构建指南的每个阶段（包括部署、使用和清理）都将被检查，以便为部署做好准备。

示例代码为起点。它经过行业验证，是规范性但不是决定性的，可以帮助您开始。

打开实施指南
GitHub 上的开放示例代码

相关内容

[内容类型]

[标题]

此[博客文章/电子书/指南/示例代码]演示了如何 [插入简短描述]。

免责声明

示例代码；软件库；命令行工具；概念验证；模板；或其他相关技术（包括由我方人员提供的任何前述项）作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议（以适用者为准）向您提供。您不应将这些 AWS 内容用在您的生产账户中，或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容，例如示例代码，以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源（例如，运行 Amazon EC2 实例或使用 Amazon S3 存储）而产生 AWS 费用。

本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指导是一个技术起点，您可以在部署架构时自定义与第三方服务的集成。

此页内容对您是否有帮助？

 反馈