Veröffentlicht am: Apr 23, 2024
Mit der Modellbewertung in Amazon Bedrock können Sie die besten Basismodelle für Ihren Anwendungsfall evaluieren, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Algorithmen für Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Für diese Metriken oder für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Einhaltung der Brand Voice können Sie mit wenigen Klicks einen menschlichen Bewertungsworkflow einrichten. Bei menschlichen Bewertungsworkflows können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.
Die interaktive Benutzeroberfläche von Amazon Bedrock führt Sie durch die Modellbewertung. Sie wählen einfach die menschliche oder automatische Bewertung sowie den Aufgabentyp und Metriken aus und laden Ihren Prompt-Datensatz hoch. Amazon Bedrock führt dann Bewertungen durch und generiert einen Bericht, sodass Sie leicht nachvollziehen können, wie das Modell bei den von Ihnen ausgewählten Metriken abgeschnitten hat, und das richtige Modell für Ihren Anwendungsfall auswählen können. Wenn Sie diesen Bericht in Verbindung mit den Kosten- und Latenzmetriken von Amazon Bedrock Playground verwenden, können Sie das passende Modell in Bezug auf Qualität, Kosten und Latenz auswählen.
Die Modellbewertung in Amazon Bedrock ist jetzt in den AWS-Regionen USA Ost (Nord-Virginia) und USA West (Oregon) allgemein verfügbar. Weitere Informationen finden Sie in der Tabelle der AWS-Regionen.
Weitere Informationen zur Modellbewertung in Amazon Bedrock finden Sie auf der Webseite zum Amazon-Bedrock-Entwicklererlebnis. Melden Sie sich zunächst in der AWS-Managementkonsole bei Amazon Bedrock an oder verwenden Sie die Amazon-Bedrock-API.