Amazon Bedrock 代理程式、流程和知識庫現已支援延遲最佳化模型
Amazon Bedrock 代理程式、流程和知識庫現在透過 SDK 提供對最近宣布尚在預覽中、延遲最佳化模型提供支援。這項增強功能為使用 Amazon Bedrock 工具建置的 AI 應用程式提供更快速的回應時間,並提升回應能力。而在目前,這種最佳化適用於 Anthropic 的 Claude 3.5 Haiku 模型和 Meta 的 Llama 3.1 405B 和 70B 模型,與標準模型相比,可在不影響準確性的情況下減少延遲。
這項更新對於開發延遲敏感應用程式的客戶特別有益,例如即時客戶服務聊天機器人和互動式編碼助理。透過利用 AWS Trainium2 等專用 AI 晶片和 Amazon Bedrock 中的進階軟體最佳化,客戶現在可以存取更多選項來最佳化特定使用案例的推論。重要的是,這些功能可以立即整合到現有應用程式中,而無需額外的設定或模型微調,從而提高效能和縮短回應時間。
針對 Amazon Bedrock 代理程式、流程和知識庫的延遲最佳化推論支援,可透過跨區域推論在美國東部 (俄亥俄) 區域提供。客戶可透過執行時期組態透過 Amazon Bedrock SDK 存取這些新功能,讓他們以程式設計方式將這些最佳化模型整合到其工作流程和應用程式中。
若要進一步了解 Amazon Bedrock 及其功能,包括這項全新延遲最佳化推論支援,請造訪 Amazon Bedrock 產品頁面、定價頁面和文件。