LLM-as-a-Judge ist jetzt für die Modellbewertung in Amazon Bedrock allgemein verfügbar
Die LLM-as-a-Judge-Funktion ist jetzt für die Modellbewertung in Amazon Bedrock allgemein verfügbar. Mit der Modellbewertung in Amazon Bedrock können Sie die geeigneten Modelle für Ihren Anwendungsfall evaluieren, vergleichen und auswählen. Sie können aus mehreren auf Bedrock verfügbaren Modellen ein LLM zur Beurteilung auswählen und so sicherzustellen, dass Sie für jedes zu bewertende Modell das passende Evaluatormodell haben. Sie können Qualitätsmetriken wie Richtigkeit, Vollständigkeit und professionellen Stil und Tonfall sowie Metriken für verantwortungsvolle KI wie Schädlichkeit und Antwortverweigerung auswählen. Sie können alle verfügbaren Modelle in Amazon Bedrock evaluieren, inklusive serverloser Modelle, Bedrock-Marketplace-Modelle, die mit der Converse-API kompatibel sind, benutzerdefinierter und destillierter Modelle, importierter Modelle und Modellrouter. Sie können auch die Ergebnisse verschiedener Bewertungsjobs vergleichen.
*Neu und noch flexibler! * Heute können Sie ein Modell oder System, das an einem beliebigen Ort gehostet wird, evaluieren, indem Sie Ihre eigenen Inferenzantworten, die Sie bereits abgerufen haben, in Ihren Eingabe-Prompt-Datensatz für den Bewertungsjob übernehmen („Bringen Sie Ihre eigenen Inferenzantworten mit“). Diese Antworten können aus einem Amazon-Bedrock-Modell oder einem beliebigen Modell oder Anwendung stammen, die außerhalb von Amazon Bedrock gehostet werden. So können Sie das Aufrufen eines Amazon-Bedrock-Modells im Bewertungsjob umgehen und alle Zwischenschritte Ihrer Anwendung in Ihre endgültigen Antworten einbeziehen.
Mit LLM-as-a-Judge erhalten Sie eine menschenähnliche Bewertungsqualität zu geringeren Kosten und verringern gleichzeitig den Zeitaufwand um Wochen.
Für weitere Informationen, besuchen Sie die Seiten zu Amazon-Bedrock-Bewertungen und -Dokumentation. Melden Sie sich für die ersten Schritte bei der AWS-Konsole an oder verwenden Sie die Amazon-Bedrock-APIs.