Ora Amazon Bedrock supporta la valutazione RAG (disponibile al pubblico)
La valutazione della generazione potenziata da recupero (RAG) di Amazon Bedrock è ora disponibile al pubblico. Che tu stia lavorando con Knowledge Base per Amazon Bedrock o con un sistema RAG personalizzato, ora puoi valutare le tue applicazioni RAG testandone sia il recupero che l'intero processo di generazione. Le valutazioni si basano su un LLM-as-a-judge, con la possibilità di scegliere tra diversi modelli di valutazione. Per il recupero è possibile selezionare metriche come la rilevanza e la copertura del contesto. Per l'intero processo di recupero e generazione puoi invece scegliere metriche di qualità come correttezza, completezza e fedeltà (rilevamento delle allucinazioni), oltre a metriche di IA responsabile come dannosità, rifiuto della risposta e stereotipi. Puoi anche confrontare diversi processi di valutazione per ottimizzare le applicazioni RAG basate su Amazon Bedrock o su un sistema personalizzato, sperimentando impostazioni come la strategia di suddivisione in blocchi, la lunghezza dei vettori, i reranker o diversi modelli di generazione dei contenuti.
*Novità: maggiore flessibilità!* Da oggi, oltre alle Knowledge Base per Bedrock, le valutazioni RAG di Amazon Bedrock supportano anche le valutazioni personalizzate delle pipeline RAG. Ora i clienti che valutano pipeline RAG personalizzate possono inserire direttamente nel proprio set di dati di input le coppie input-output e i contesti recuperati per il processo di valutazione, permettendo loro di evitare la chiamata a una Knowledge Base per Bedrock ("bring your own inference responses"). Inoltre, abbiamo aggiunto le metriche di precisione e copertura delle citazioni per la valutazione delle Knowledge Bases per Bedrock. Se utilizzi una Knowledge Base per Bedrock come parte della tua valutazione, puoi integrare direttamente i Guardrail per Amazon Bedrock.
Per ulteriori informazioni vai alla pagina delle valutazioni di Amazon Bedrock e consulta la relativa documentazione. Per iniziare, accedi alla console di Amazon Bedrock o utilizza le API di Amazon Bedrock.