La funzionalità LLM-as-a-judge della Valutazione del modello di Amazon Bedrock è ora disponibile al pubblico
La funzionalità LLM-as-a-judge della Valutazione del modello di Amazon Bedrock è ora disponibile al pubblico, consentendo di analizzare, confrontare e scegliere il modello più adatto al proprio caso d'uso. È possibile scegliere un LLM come giudice tra quelli disponibili su Bedrock, garantendo la giusta combinazione tra modelli valutatori e modelli da valutare, nonché selezionare metriche di qualità come correttezza, completezza e stile e tono professionali, oltre a metriche di IA responsabile come dannosità e rifiuto della risposta. È possibile valutare tutti i modelli disponibili su Amazon Bedrock, inclusi i modelli serverless, quelli di Bedrock Marketplace compatibili con l'API Converse, i modelli personalizzati e distillati, i modelli importati e i router di modelli. Puoi anche confrontare i risultati di diversi processi di valutazione.
*Novità: maggiore flessibilità!* Oggi puoi valutare qualsiasi modello o sistema ospitato ovunque importando le risposte inferenziali già recuperate nel set di dati di input del prompt per il processo di valutazione ("bring your own inference responses"). Queste risposte possono provenire da un modello Amazon Bedrock o da qualsiasi modello o applicazione ospitata al di fuori di Amazon Bedrock, permettendoti di evitare la chiamata a un modello Amazon Bedrock nel processo di valutazione e di integrare tutti i passaggi intermedi della tua applicazione nelle risposte finali.
Grazie a LLM-as-a-judge puoi ottenere valutazioni di qualità comparabile a quella umana con costi ridotti, risparmiando settimane di lavoro.
Per ulteriori informazioni vai alla pagina delle valutazioni di Amazon Bedrock e consulta la relativa documentazione. Per iniziare, accedi alla Console AWS o utilizza le API di Amazon Bedrock.