Die Modellbewertung in Amazon Bedrock unterstützt die Bewertung benutzerdefinierter Modelle jetzt auch bei importierten Modellen
Mit der Modellbewertung in Amazon Bedrock können Sie die besten Basismodelle für Ihren Anwendungsfall evaluieren, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Algorithmen für Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Für diese Metriken oder für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Einhaltung der Brand Voice können Sie mit wenigen Klicks einen menschlichen Bewertungsworkflow einrichten. Bei menschlichen Bewertungsworkflows können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.
Ab sofort können Kunden ihre eigenen Modelle, die sie in Amazon Bedrock importieren, über das Feature „Custom Model Import“ bewerten. Für Kunden vereinfacht dies die Auswahl, Anpassung, Bewertung und eventuelle erneute Anpassung eines Basismodells (FM), bevor es in die Produktion übergeht, sobald sie mit dem Bewertungsergebnis zufrieden sind. Um ein importiertes Modell zu bewerten, wählen Sie das benutzerdefinierte Modell einfach aus der Liste der zu bewertenden Modelle in der Modellauswahl aus, wenn Sie einen Bewertungsjob erstellen.
Die Modellbewertung auf Amazon Bedrock ist jetzt in diesen kommerziellen Regionen und in AWS GovCloud (USA-West) allgemein verfügbar.
Weitere Informationen zur Modellbewertung in Amazon Bedrock finden Sie auf der Webseite zum Amazon-Bedrock-Entwicklererlebnis. Melden Sie sich zunächst in der AWS-Managementkonsole bei Amazon Bedrock an oder verwenden Sie die Amazon-Bedrock-APIs.