Knowledge Base per Amazon Bedrock ora supporta la valutazione RAG (anteprima)
Oggi rendiamo disponibile il supporto alla valutazione RAG in Knowledge Base per Amazon Bedrock. Questa funzionalità consente di testare le applicazioni RAG (Retrieval-Augmented Generation) sviluppate su Knowledge Base per Amazon Bedrock. È possibile valutare sia il recupero delle informazioni che il recupero oltre alla generazione di contenuti. Le valutazioni si basano sulla tecnologia LLM-as-a-judge, con la possibilità per i clienti di scegliere tra diversi modelli di giudizio. Per la valutazione del recupero, è possibile selezionare metriche come la rilevanza e la copertura del contesto. Per la valutazione della combinazione recupero-generazione, è possibile selezionare metriche di qualità come correttezza, completezza e fedeltà (rilevamento delle allucinazioni), oltre a metriche di IA responsabile come dannosità, rifiuto della risposta e stereotipi. È anche possibile confrontare diversi processi di valutazione per analizzare Knowledge Base con impostazioni differenti (come la strategia di suddivisione o la lunghezza dei vettori) oppure con modelli di generazione di contenuti diversi.
Valutare le applicazioni RAG può essere complesso, perché richiede l'ottimizzazione di numerosi componenti di recupero e generazione. Grazie allo strumento di valutazione RAG di Knowledge Base per Amazon Bedrock, ora i clienti possono analizzare facilmente e rapidamente le applicazioni basate su Knowledge Base, lavorando direttamente sui loro dati e modelli LLM. Inoltre, è possibile integrare i Guardrail per Amazon Bedrock direttamente nella valutazione per ottenere test ancora più completi. Utilizzare questi strumenti di valutazione RAG su Amazon Bedrock può ridurre i costi e far risparmiare settimane di tempo rispetto a una valutazione offline basata interamente su revisione manuale, consentendoti di migliorare la tua applicazione in modo più rapido e semplice.
Per ulteriori informazioni, compresa la disponibilità delle regioni, leggi il blog AWS News e vai alla pagina delle valutazioni di Amazon Bedrock. Per iniziare, accedi alla console di Amazon Bedrock o utilizza le API di Amazon Bedrock.