Amazon Bedrock 知識庫現在支援串流回應

張貼日期: 2024年12月1日

Amazon Bedrock 知識庫提供全受管的端對端檢索增強生成 (RAG) 工作流程，透過整合公司資料來源的內容資訊來建立高度精確、低延遲、安全且可自訂的檢索增強生成 GenAI 應用程式。今天，我們宣布 Bedrock 知識庫支援 RetrieveAndGenerateStream API。這個新的串流 API 可讓 Bedrock 知識庫客戶在大型語言模型 (LLM) 產生回應的同時進行接收，而無須等待完整的回應。

RAG 工作流程涉及數個步驟，包括查詢資料存放區、收集相關內容，然後將查詢傳送至 LLM 以進行回應摘要。產生回應的最後一步可能需要幾秒鐘，具體取決於產生回應時所用基礎模型的延遲情形。為了在建置延遲敏感型應用程式時減少這種延遲，我們現在提供 RetrieveAndGenerateStream API，該 API 會在模型產生回應的同時，以串流形式提供該回應。這會減少第一次回應的延遲，在使用者與 Bedrock 知識庫互動時提供更順暢且更快速的體驗。

目前所有現有 Amazon Bedrock 知識庫區域都支援此新功能。若要進一步了解，請瀏覽文件。