Amazon Bedrock unterstützt jetzt die RAG-Bewertung (allgemein verfügbar)
Die Amazon Bedrock RAG-Bewertung ist jetzt allgemein verfügbar. Sie können RAG-Anwendungen (Retrieval-Augmented Generation) bewerten, die entweder auf Amazon-Bedrock-Wissensdatenbanken oder einem benutzerdefinierten RAG-System basieren. Sie können entweder den Abruf oder die durchgängige Generierung bewerten. Die Bewertungen werden von einem LLM-as-a-Judge durchgeführt, wobei verschiedene Judge-Modelle zur Auswahl stehen. Für den Abruf können Sie aus Metriken wie Kontextrelevanz und -erfassung auswählen. Für das durchgängige Abrufen und Generieren können Sie zwischen Qualitätsmetriken wie Richtigkeit, Vollständigkeit und Zuverlässigkeit (Erkennung von Halluzination) sowie Metriken für verantwortungsvolle KI wie Schädlichkeit, Antwortverweigerung und Stereotypisierung wählen. Sie können auch mehrere Bewertungsjobs vergleichen, um in Ihren Wissensdatenbanken oder benutzerdefinierten RAG-Anwendungen mit unterschiedlichen Einstellungen z. B. bei Chunking-Strategie oder Vektorlänge, Rerankern, oder mit unterschiedlichen Modellen zur Inhaltsgenerierung zu iterieren.
*Neu und noch flexibler! *Die RAG-Bewertungen in Amazon Bedrock unterstützen nun neben den Bedrock-Wissensdabenbanken auch benutzerdefinierte RAG-Pipeline-Bewertungen. Kunden, die benutzerdefinierte RAG-Pipelines evaluieren, können jetzt ihre Eingabe-Ausgabe-Paare und abgerufenen Kontexte direkt in ihrem Eingabedatensatz in den Bewertungsjob einbringen, sodass sie den Aufruf einer Bedrock-Wissensdatenbank umgehen können („eigene Inferenzantworten mitbringen“). Wir haben auch Metriken zur Zitationsgenauigkeit und Zitationserfassung für die Bewertung in Bedrock-Wissensdatenbanken hinzugefügt. Wenn Sie im Rahmen Ihrer Bewertung eine Bedrock-Wissensdatenbank verwenden, können Sie Amazon Bedrock Guardrails direkt einbeziehen.
Für weitere Informationen, besuchen Sie die Seiten zu Amazon-Bedrock-Bewertungen und -Dokumentation. Für erste Schritte melden Sie sich zunächst in der Amazon-Bedrock-Konsole an oder verwenden Sie die Amazon Bedrock APIs.