Veröffentlicht am: Nov 29, 2023
Mit der Modellbewertung in Amazon Bedrock können Sie die besten Basismodelle für Ihren Anwendungsfall evaluieren, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Ausrichtung auf die Brand Voice können Sie mit wenigen Klicks einen menschlichen Bewertungs-Workflow einrichten. Bei menschlichen Bewertungs-Workflows können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.
Die interaktive Benutzeroberfläche von Amazon Bedrock führt Sie durch die Modellbewertung. Sie wählen einfach die menschliche oder automatische Bewertung sowie den Aufgabentyp und Metriken aus und laden Prompt-Datensätze hoch. Amazon Bedrock führt dann Bewertungen durch und generiert einen Bericht, sodass Sie leicht nachvollziehen können, wie das Modell bei den von Ihnen ausgewählten Metriken abgeschnitten hat, und das richtige Modell für Ihren Anwendungsfall auswählen können.
Die Modellbewertung in Amazon Bedrock ist in den AWS-Regionen USA Ost (Nord-Virginia) und USA West (Oregon) als Vorschauversion verfügbar. Weitere Informationen finden Sie in der Tabelle der AWS-Regionen.
Weitere Informationen zur Modellbewertung in Amazon Bedrock finden Sie auf der Webseite zum Amazon-Bedrock-Entwicklererlebnis. Melden Sie sich zunächst in der AWS-Managementkonsole bei Amazon Bedrock an.