Amazon Bedrock 知識庫現已支援 RAG 評估 (預覽版)

張貼日期: 2024年12月1日

今天，我們宣布在 Amazon Bedrock 知識庫中支援 RAG 評估。此功能可讓您評估以 Amazon Bedrock 知識庫為基礎建置的檢索增強生成 (RAG) 應用程式。您可以評估「資訊擷取」或「擷取及內容生成」。評估功能採用 LLM 即評判技術，客戶可以選擇使用多種評判模型。您可以針對擷取評估選取內容關聯性和覆蓋範圍等指標。針對擷取及內容生成評估，您可以從正確性、完整性和忠實度 (幻覺偵測) 等品質指標及危害性、拒絕回答和刻板印象等負責任 AI 指標中進行選擇。您也可以進行評估工作之間的比較，以便比較具有不同設定 (如群集策略或向量長度) 的知識庫或不同的內容產生模型。

因為擷取和產生之中有許多元件需要進行最佳化，所以評估 RAG 應用程式可能很困難。現在，Amazon Bedrock 知識庫的 RAG 評估工具可讓客戶在已上線資料和 LLM 的位置，方便快速地評估他們的知識庫型應用程式。此外，您可以將 Amazon Bedrock 防護機制直接納入評估中，以進行更徹底的測試。與徹底離線的人力型評估相比，在 Amazon Bedrock 上使用這些 RAG 評估工具可以節省成本及數週的時間，使您可以更快、更輕鬆地在應用程式中進行改進。

若要進一步了解 (包括區域可用性)，請參閱 AWS 新聞部落格，並瀏覽 Amazon Bedrock 評估頁面。若要開始使用，請登入 Amazon Bedrock 主控台或使用 Amazon Bedrock API。