Veröffentlicht am: Apr 25, 2024
Bewertungen von Basismodellen mit SageMaker Clarify sind jetzt allgemein verfügbar. Datenwissenschaftler und ML-Experten können mithilfe dieses Features innerhalb von Minuten Basismodelle auf der Grundlage einer Vielzahl von Kriterien für verschiedene Aufgaben bewerten, vergleichen und auswählen.
SageMaker-Kunden haben die Wahl zwischen Hunderten von Basismodellen für ihre generativen KI-Anwendungen. Sie bewerten und vergleichen diese Modelle bei der Modellauswahl und Modellanpassung, um das optimale Modell für ihre Anwendung zu finden. Dieser Prozess kann Tage in Anspruch nehmen. Es müssen relevante Benchmarks identifiziert, Bewertungstools konfiguriert und schließlich die Bewertung jedes Modells durchgeführt werden. Die erzielten Ergebnisse lassen sich häufig nur schwer auf einen spezifischen Anwendungsfall übertragen.
SageMaker Clarify bietet automatisierte und menschliche Bewertungen mit interpretierbaren Ergebnissen. Kunden können dieses neue Feature in Amazon SageMaker Studio verwenden, um von SageMaker gehostete LLMs zu evaluieren, oder mit fmeval beliebige LLMs bewerten. Sie beginnen mit kuratierten Prompt-Datensätzen, die auf Aufgaben wie Textgenerierung, Zusammenfassung, Beantwortung von Fragen und Klassifizierung zugeschnitten sind. Anschließend passen Sie die Inferenzparameter und Prompt-Vorlagen an und vergleichen die Ergebnisse verschiedener Modelleinstellungen. Mit benutzerdefinierten Prompt-Datensätzen und Metriken können Sie die Bewertung erweitern. Menschliche Bewertungen ermöglichen es Kunden, subjektive Aspekte wie Kreativität und Stil zu beurteilen. Nach jeder Bewertung erhalten Kunden einen umfassenden Bericht mit Visualisierungen und Beispielen, die sie in ihre SageMaker ML-Workflows integrieren können.
Dieses Feature ist in allen AWS-Regionen verfügbar, mit Ausnahme der AWS-GovCloud-Regionen (USA), der Regionen China, Asien-Pazifik (Hyderabad), Asien-Pazifik (Melbourne), Kanada West (Calgary), Europa (Zürich), Europa (Stockholm), Europa (Spanien), Israel (Tel Aviv) und Naher Osten (VAE).
Weitere Einzelheiten finden Sie auf der Produktseite, in der Dokumentation und in der Preisübersicht.