Amazon Bedrock 智慧提示路由預覽版現已推出

張貼日期: 2024年12月4日

Amazon Bedrock 智慧提示路由會將提示路由至模型系列中的不同基礎模型，協助您最佳化回應品質和成本。使用進階提示比對和模型理解技術，智慧提示路由會預測每個模型對於每個請求的效能，並將每個請求動態路由至其預測最可能以最低成本提供所需回應的模型。客戶可以在預覽中的兩個提示路由器選擇，這些路由器會在 Claude Sonnet 3.5 和 Claude Haiku 之間，或在 Llama 3.1 8B 和 Llama 3.1 70B 之間路由請求。

Amazon Bedrock 是一項全受管服務，透過單一 API 提供來自領先 AI 公司的高效能基礎模型選擇。Amazon Bedrock 還提供客戶建置內建安全性、隱私權和負責任 AI 之生成式 AI 應用程式所需的一系列廣泛功能。這些功能可協助您為不同產業的各種使用案例建置量身訂製的應用程式，協助組織從生成式 AI 中獲得持續成長，同時確保客戶信任和資料管控。Amazon Bedrock 可透過智慧提示路由功能，協助客戶透過基礎模型組合建置符合成本效益的生成式 AI 應用程式，以比單一基礎模型更低的成本獲得更好的效能。

在預覽期間，會針對將請求路由至其中的模型以一般隨選定價向客戶收費。若要進一步了解，請參閱文件和部落格。