Amazon Bedrock Evaluations

Usa le valutazioni della funzione recupero e generazione per valutare la capacità del sistema RAG end-to-end dell'applicazione. Assicurati che il contenuto generato sia corretto, completo, limiti le allucinazioni e aderisca ai principi dell'IA responsabile. Valuta le prestazioni di una Knowledge Base per Bedrock o fornisci le risposte di inferenza generate dal sistema RAG personalizzato. Dovrai soltanto selezionare un modello linguistico di grandi dimensioni (LLM) da utilizzare come giudice con le Knowledge Base per Amazon Bedrock o gli output del sistema RAG personalizzato, caricare il set di dati e selezionare le metriche più importanti per la valutazione.

Usa le valutazioni del recupero del sistema RAG per valutare le impostazioni di archiviazione e recupero delle Knowledge Base per Amazon Bedrock o del sistema RAG personalizzato. Assicurati che il contenuto recuperato sia pertinente e copra l'intera query dell'utente. Dovrai soltanto selezionare un LLM da usare come giudice, scegliere una Knowledge Base per Bedrock da valutare o includere i recuperi del sistema RAG personalizzato nel set di dati dei prompt, per poi selezionare le metriche.

La valutazione del modello di Amazon Bedrock consente di utilizzare valutazioni automatiche e umane per selezionare i modelli di fondazione (FM) per un caso d'uso specifico. La valutazione automatica (programmatica) del modello utilizza set di dati selezionati e personalizzati e fornisce parametri predefiniti, tra cui accuratezza, affidabilità e rilevamento di contenuti inappropriati. Per adottare parametri soggettivi, puoi utilizzare Amazon Bedrock per configurare un flusso di lavoro di valutazione umana in pochi passaggi. Con la valutazione umana, puoi utilizzare il tuo set di dati e definire parametri personalizzati, come pertinenza, stile e conformità alla voce del marchio. Per l'esecuzione di flussi di lavoro di valutazione umana, puoi impiegare i tuoi dipendenti come revisori o affidarti a un team gestito da AWS. In questo caso, AWS assume valutatori esperti e gestisce il flusso di lavoro completo per tuo conto. Inoltre, puoi utilizzare un LLM-as-a-judge per fornire valutazioni di alta qualità sul set di dati con metriche quali correttezza, completezza, fedeltà (allucinazione) e metriche di IA responsabile come il rifiuto della risposta e la dannosità. Puoi valutare i modelli Bedrock o di qualsiasi altro tipo ovunque inserendo le risposte dell'inferenza nel set di dati del prompt di input.

Usa la funzionalità di confronto nelle valutazioni per visualizzare i risultati di eventuali modifiche apportate ai prompt, ai modelli in fase di valutazione, al sistema RAG personalizzato o alle Knowledge Base per Amazon Bedrock.