Amazon Bedrock 推出提示缓存功能预览版

发布于: 2024年12月4日

今天，AWS 宣布 Amazon Bedrock 现在支持提示缓存。提示缓存是一项新功能，可以在多个 API 调用中缓存常用提示，从而将支持的模型的成本最多降低 90%，延迟最多降低 85%。它让您能够缓存重复的输入并避免重新处理上下文，例如辅助模型理解的较长的系统提示和常见示例。使用缓存时，生成输出所需的计算资源较少。因此，我们不仅可以更快地处理您的请求，而且还可以通过减少资源使用量来帮助您降低成本。

Amazon Bedrock 是一项完全托管的服务，可以通过单个 API 提供一系列来自领先 AI 公司的高性能基础模型。Amazon Bedrock 还提供了客户构建内置安全性、隐私性和响应式 AI 功能的生成式 AI 应用程序所需的大量功能。这些功能可帮助您针对不同行业的多种应用场景构建量身定制的应用程序，帮助组织通过生成式人工智能实现可持续增长，同时提供各种工具来建立客户信任并进行数据治理。

提示缓存功能现在可以在美国西部（俄勒冈州）和美国东部（弗吉尼亚州北部）通过跨区域推理在 Claude 3.5 Haiku 和 Claude 3.5 Sonnet v2 模型中使用，并在美国东部（弗吉尼亚州北部）的 Nova Micro、Nova Lite 和 Nova Pro 模型中使用。在发布时，只有特定客户才能使用这一功能。要了解有关体验预览版的更多信息，请参阅此页面。要了解有关提示缓存的更多信息，请参阅我们的文档和博客。