Veröffentlicht am: Nov 29, 2023
Heute kündigt Amazon SageMaker Clarify eine neue Funktion zur Unterstützung von Bewertungen von Basismodellen (FMs) an. AWS-Kunden können FMs anhand von Kennzahlen wie Genauigkeit, Robustheit, Verzerrung und Toxizität innerhalb von Minuten vergleichen und auswählen.
Kunden haben heute bei FMs für ihre generativen KI-Anwendungen eine große Auswahl an Optionen und möchten diese Modelle schnell vergleichen, um die beste Entscheidung für ihren Anwendungsfall zu treffen. Wenn Kunden mit dem Vergleich von Modellen beginnen, verbringen sie zunächst Tage damit, relevante Benchmarks zu ermitteln, Evaluierungstools einzurichten und Bewertungen für jedes Modell durchzuführen. Und sie erhalten oft Ergebnisse, die schwer zu verstehen sind.
SageMaker Clarify unterstützt jetzt FM-Bewertungen bei der Modellauswahl und während des gesamten Workflows zur Modellanpassung. Kunden verwenden zum Einstieg in FM-Bewertungen kuratierte Prompt-Datensätze, die speziell für allgemeine Aufgaben entwickelt wurden, einschließlich der Generierung von offenem Text, Zusammenfassung, Beantwortung von Fragen und Klassifizierung. Kunden können die FM-Bewertung um ihre eigenen benutzerdefinierten Prompt-Datensätze erweitern. Menschliche Bewertungen können für subjektivere Dimensionen wie Kreativität und Stil verwendet werden. Nach jeder Bewertung erhalten Kunden einen Bewertungsbericht, der die Ergebnisse in natürlicher Sprache zusammenfasst und Visualisierungen und Beispiele enthält. Kunden können alle Metriken und Berichte herunterladen und in ihre SageMaker-ML-Workflows integrieren.
Diese Funktion ist in ausgewählten Regionen in der Vorschauversion verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Asien-Pazifik (Tokio), Asien-Pazifik (Singapur), Europa (Frankfurt), Europa (Irland). Weitere Einzelheiten finden Sie in unserer Dokumentation und in der Preisübersicht.