Amazon Bedrock 宣布推出提示快取的預覽版

張貼日期: 2024年12月4日

AWS 如今宣布 Amazon Bedrock 現支援提示快取。提示快取是一項新功能，透過在多個 API 呼叫中快取經常使用的提示，支援模型的成本最多可降低 90%，延遲最多可降低 85%。此功能允許您快取重複性輸入內容，並避免重新處理內容，例如冗長的系統提示和有助於引導模型回應的常見範例。使用快取時，產生輸出需要較少的運算資源。因此，我們不僅可以更快地處理請求，還可以透過使用較少的資源來節省成本。

Amazon Bedrock 是一項全受管服務，透過單一 API 提供來自領先 AI 公司的高效能 FM 選擇。Amazon Bedrock 還提供客戶建置內建安全性、隱私權和負責任 AI 之生成式 AI 應用程式所需的一系列廣泛功能。這些功能可協助您為不同產業的多個使用案例建置量身打造的應用程式，協助組織從生成式 AI 中獲得持續成長，同時提供工具來建立客戶信任和資料控管。

如今在美國西部 (奧勒岡) 和美國東部 (維吉尼亞北部) 的 Claude 3.5 Haiku 和 Claude 3.5 Sonnet v2 可以透過跨區域推論，以及在美國東部 (維吉尼亞北部) 的 Nova Micro、Nova Lite 和 Nova Pro 模型都可以使用提示快取。推出時，只有特定數量的客戶能夠使用此功能。若要進一步了解預覽版參與的相關資訊，請參閱此頁面。若要進一步了解提示快取，請參閱文件和部落格。