Amazon Bedrock 知识库现支持跨区域推理

发布于: 2024年9月13日

Amazon Bedrock 知识库宣布提供跨区域推理支持，这是一项可选功能，让开发人员能够通过在不同 AWS 区域间运用计算资源，实现对流量激增的无缝管理。

通过使用跨区域推断，采用 RetrieveAndGenerate API 的 Amazon Bedrock 知识库客户将能够在需求高峰期获得更高的吞吐量限制和更高的弹性。通过选用这一功能，开发人员无需再耗费时间与精力去预测需求的波动情况。取而代之的是，跨区域推理可以动态地将流量路由到多个区域，确保为每个请求提供最优的可用性，并在高使用率时段达成更流畅的性能表现。要使用跨区域推理，客户需要在 RetrieveAndGenerate API 的请求中将推理配置文件指定为“modelARN”。使用跨区域推理不会产生额外的路由费用，费用将依据您所发出请求的区域（来源区域）进行收取。

请在此处找到支持的模型和预定义区域的列表。要详细了解该功能及其使用方法，请参阅 Amazon Bedrock 文档或此博客。