Amazon CloudWatch 新增了生成式 AI 可觀測性 (預覽版)
Amazon CloudWatch 現在可以協助您觀察生成式 AI 應用程式和工作負載,包括使用 Amazon Bedrock AgentCore (預覽版) 部署及操作的代理程式,讓您深入了解 AI 效能、運作狀態和精確性。您可以透過預設檢視查看 AI 工作負載的延遲、使用情形和錯誤,以更快速地偵測模型調用和代理程式等元件的問題。您也可以利用對知識庫、工具和模型等元件的端對端提示追蹤,更快速地找出問題。此功能與常見的生成式 AI 協同運作架構 (例如 Strands Agents,LangChain 和 LangGraph) 相容,可為您選擇的架構帶來靈活性。
透過這項新功能,Amazon CloudWatch 可對不同的生成式 AI 應用程式元件分析遙測資料,以利快速識別錯誤來源。例如,您可以使用端對端提示追蹤、精選指標和日誌找出不正確回應的來源;無論來自 VectorDB 中的缺陷,還是未完成的 RAG 系統重試。這種連線的元件互動檢視可協助開發人員更快速地最佳化工作負載,以提供高水準的可用性、精確性、可靠性和品質。開發人員可在單一位置監控和評估代理程式機群,藉此確保 AI 代理程式能夠順利執行。您可以在 CloudWatch 控制台的 AgentCore 標籤中使用代理程式精選檢視,以獲得 GenAI 可觀測性。生成式 AI 可觀測性可與其他 CloudWatch 功能整合,例如Application Signals、警示、儀表板、敏感資料保護和 Logs Insights,以協助您順暢地擴充現有的可觀測性工具,監控生成式 AI 工作負載。
此功能在 4 個區域推出了預覽版:美國東部 (維吉尼亞北部)、美國西部 (奧勒岡)、歐洲 (法蘭克福) 和亞太地區 (雪梨)。若要進一步了解,請瀏覽文件。CloudWatch 定價適用於收集和儲存的遙測資料。