Amazon Bedrock 以隨需推論價格的 50% 提供精選的批次推論 FM

張貼日期: 2024年8月21日

去年我們引進了預覽版批次推論支援，讓您能夠批次處理提示，以獲取模型評估、實驗和離線處理的回應。即日起，Amazon Bedrock 已在所有支援的 AWS 區域中，針對支援的模型正式提供批次推論功能。您可透過批次推論，以非同步方式執行多個推論請求，並改善大型資料集上的模型推論效能。Amazon Bedrock 提供 Anthropic、Meta、Mistral AI 和 Amazon 等領先 AI 供應商提供的精選基礎模型 (FM)，能夠讓您以隨需推論 50% 的價格獲得批次推論功能。批次推論的完成時間取決於各種因素 (例如工作大小)，但一般的工作應該會在 24 小時內完成。您可以在我們的批次推論文件中進一步了解，也可以參考我們的 API 參考文件。

Amazon Bedrock 全受管服務，透過單一 API，提供一系列高效能基礎模型 (FM) 選擇，包括業界領先 AI 公司 (如 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI) 及 Amazon 自家模型。Amazon Bedrock 還提供客戶建置內建安全性、隱私權和負責任 AI 的生成式 AI 應用程式所需廣泛功能。這些功能可協助您為不同產業的各種使用案例建置量身訂製的應用程式，協助組織從生成式 AI 中獲得持續成長，同時確保客戶信任和資料管控。

如需 Amazon Bedrock 的詳細資訊，請瀏覽 Amazon Bedrock 頁面，並查看 Amazon Bedrock 文件以取得更多詳細資訊。