Wissensdatenbanken von Amazon Bedrock unterstützen jetzt die RAG-Bewertung (Vorschau)
Heute kündigen wir die Unterstützung der RAG-Bewertung in Amazon-Bedrock-Wissensdatenbanken an. Mit dieser Funktion können Sie Ihre RAG-Anwendungen (Retrieval-Augmented Generation) bewerten, die auf Amazon-Bedrock-Wissensdatenbanken basieren. Sie können entweder den Informationsabruf oder den Abruf inklusive der Inhaltsgenerierung bewerten. Die Bewertungen basieren auf der LLM-as-a-Judge-Technologie, wobei Kunden zwischen mehreren Judge-Modellen wählen können. Für die Bewertung von Abrufen können Sie aus Kennzahlen wie Kontextrelevanz und Reichweite auswählen. Für die Bewertung von Abruf inklusive Generierung können Sie zwischen Qualitätskennzahlen wie Richtigkeit, Vollständigkeit und Zuverlässigkeit (Erkennung von Halluzination) sowie Metriken für verantwortungsvolle KI wie Schädlichkeit, Antwortverweigerung und Stereotypisierung wählen. Sie können auch mehrere Bewertungsjobs vergleichen, um Wissensdatenbanken mit unterschiedlichen Einstellungen zum Beispiel bei Chunking-Strategie und Vektorlänge oder mit unterschiedlichen Modellen zur Inhaltsgenerierung zu vergleichen.
Die Bewertung von RAG-Anwendungen kann schwierig sein, da beim Abrufen und Generieren viele Komponenten optimiert werden müssen. Mit dem RAG-Bewertungsstool von Amazon-Bedrock-Wissensdatenbanken können Kunden jetzt ihre auf einer Wissensdatenbank basierenden Anwendungen bequem und schnell dort bewerten, wo sich ihre Daten und LLMs befinden. Darüber hinaus können Sie den Amazon-Bedrock-Integritätsschutz für noch gründlichere Tests direkt in die Bewertung einbeziehen. Durch die Verwendung dieser RAG-Bewertungstools auf Amazon Bedrock können Sie im Vergleich zu einer vollständigen Offline-Bewertung durch Menschen Kosten und Wochen an Zeit sparen, sodass Sie Verbesserungen an Ihrer Anwendung schneller und einfacher vornehmen können.
Weitere Informationen, einschließlich der regionalen Verfügbarkeit, finden Sie im AWS-News-Blog und auf der Seite Amazon-Bedrock-Bewertungen. Für erste Schritte melden Sie sich zunächst in der Amazon-Bedrock-Konsole an oder verwenden Sie die Amazon Bedrock APIs.