Valutazione del modello di Amazon Bedrock ora include LLM-as-a-judge (anteprima)
La funzionalità Valutazione del modello di Amazon Bedrock ti consente di valutare, confrontare e scegliere i modelli di fondazione migliori per il tuo caso d'uso. Ora puoi utilizzare una nuova funzionalità di valutazione: LLM-as-a-judge in anteprima. Questa opzione ti consente di selezionare un modello LLM come giudice per garantirti la giusta combinazione tra modelli di valutazione e modelli valutati. Amazon Bedrock ti permette di scegliere tra diversi LLM-as-a-judge, nonché selezionate metriche di qualità come correttezza, completezza e stile professionale, oltre a metriche di IA responsabile come dannosità e rifiuto della risposta. Ora puoi anche caricare un set di dati di prompt per personalizzare la valutazione in base ai tuoi dati e confrontare i risultati tra diversi processi di valutazione per accelerare il processo decisionale.
In passato era possibile scegliere tra valutazioni del modello manuali e automatiche con corrispondenza esatta delle stringhe e altre metriche comuni di elaborazione del linguaggio naturale. Sebbene rapidi, questi metodi non erano del tutto allineati con le valutazioni umane. Ora, grazie a LLM-as-a-judge, puoi ottenere una valutazione di qualità umana a un costo molto più contenuto rispetto alle tradizionali valutazioni eseguite da persone, risparmiando così settimane di lavoro. Puoi utilizzare metriche predefinite per valutare fatti oggettivi o eseguire una valutazione soggettiva dello stile e del tono di scrittura sul tuo set di dati.
Per ulteriori informazioni sul nuovo modello LLM-as-a-judge disponibile in Valutazione del modello di Amazon Bedrock, tra cui le regioni AWS in cui è supportato, leggi il blog AWS News e vai alla pagina Valutazioni del modello di Amazon Bedrock. Per iniziare, accedi alla console di gestione AWS o utilizza le API di Amazon Bedrock.