Die Modellbewertung in Amazon Bedrock unterstützt jetzt die Bewertung benutzerdefinierter Modelle
Mit der Modellbewertung in Amazon Bedrock können Sie die besten Basismodelle für Ihren Anwendungsfall evaluieren, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Algorithmen für Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Für diese Metriken oder für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Einhaltung der Brand Voice können Sie mit wenigen Klicks einen menschlichen Bewertungsworkflow einrichten. Bei menschlichen Bewertungsworkflows können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.
Jetzt können Kunden ihre eigenen maßgeschneiderten, optimierten Modelle anhand von Feintuning und fortlaufenden Vortrainingsmaßnahmen auf Amazon Bedrock testen. Für Kunden vereinfacht dies die Auswahl, Anpassung, Bewertung und eventuelle erneute Anpassung eines Basismodells (FM), bevor es in die Produktion übergeht, sobald sie mit dem Bewertungsergebnis zufrieden sind. Um ein benutzerdefiniertes Modell zu bewerten, wählen Sie es aus der Liste der zu bewertenden Modelle im Modellauswahl-Tool aus, wenn Sie einen Bewertungsjob erstellen.
Die Modellbewertung auf Amazon Bedrock ist jetzt in diesen kommerziellen Regionen und in AWS GovCloud (USA-West) allgemein verfügbar.
Weitere Informationen zur Modellbewertung in Amazon Bedrock finden Sie auf der Webseite zum Amazon-Bedrock-Entwicklererlebnis. Melden Sie sich zunächst in der AWS-Managementkonsole bei Amazon Bedrock an oder verwenden Sie die Amazon-Bedrock-APIs.