Amazon Bedrock 代理、工作流和知识库现在支持延迟优化模型
Amazon Bedrock 代理、工作流和知识库现在通过 SDK 为最近发布的预览版延迟优化模型提供支持。这一增强功能为使用 Amazon Bedrock 工具构建的 AI 应用程序带来了更短的响应时间和更高的响应能力。这一优化目前适用于 Anthropic 的 Claude 3.5 Haiku 模型以及 Meta 的 Llama 3.1 405B 和 70B 模型,与标准模型相比,能够降低延迟而不影响准确性。
这一更新特别有利于开发延迟敏感型应用程序(例如实时客户服务聊天机器人和交互式编码助手)的客户。借助 Amazon Bedrock 中的 AWS Trainium2 等专用 AI 芯片和高级软件优化功能,客户可以通过更多选项来优化针对特定应用场景的推理。重要的是,这些功能可以立即集成到现有应用程序中,无需进行额外设置或模型微调即可增强性能并缩短响应时间。
Amazon Bedrock 代理、工作流和知识库对延迟优化推理的支持现已通过跨区域推理在美国东部(俄亥俄州)区域推出。客户可以利用 Amazon Bedrock SDK 通过运行时配置来使用这些新功能,并以编程方式将这些优化的模型整合到其工作流程和应用程序中。
要了解有关 Amazon Bedrock 及其功能(包括这种新的延迟优化推理支持)的更多信息,请访问 Amazon Bedrock 产品页面、定价页面和文档。