Amazon Bedrock AgentCore Evaluations è ora disponibile al pubblico
Amazon Bedrock AgentCore Evaluations è ora disponibile al pubblico e fornisce una valutazione automatica della qualità per gli agenti IA. Evaluations consente agli sviluppatori di monitorare la qualità degli agenti tramite la valutazione continua del traffico di produzione, validare le modifiche attraverso flussi di lavoro di test e misurare le prestazioni degli agenti rispetto alle aspettative definite. AgentCore Evaluations offre due tipi di valutazione. La valutazione online monitora in modo continuativo le prestazioni degli agenti in produzione, campionando e assegnando punteggi alle tracce in tempo reale. La valutazione on-demand consente ai team di testare gli agenti in modo programmatico, con supporto per i test di regressione nelle pipeline CI/CD e per i flussi di lavoro di sviluppo interattivo.
I team possono valutare gli agenti tramite 13 valutatori integrati per la qualità delle risposte, la sicurezza, il completamento delle attività e l'utilizzo degli strumenti. Gli sviluppatori possono anche utilizzare Ground Truth per misurare le prestazioni degli agenti rispetto alle aspettative, tra cui risposte di riferimento per la validazione delle risposte, asserzioni comportamentali per gli obiettivi a livello di sessione e sequenze di esecuzione degli strumenti previste. Per i requisiti specifici del dominio, i team possono configurare valutatori personalizzati tramite prompt e modelli di propria scelta per la valutazione basata su LLM oppure implementare logica personalizzata in Python o JavaScript tramite funzioni ospitate su Lambda per la valutazione basata sul codice. Evaluations si integra con AgentCore Observability per il monitoraggio unificato e gli avvisi in tempo reale.
AgentCore Evaluations è disponibile in nove regioni AWS: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Mumbai), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Europa (Francoforte) ed Europa (Irlanda).
Consulta la documentazione di Amazon Bedrock AgentCore Evaluations per maggiori informazioni in merito e inizia a utilizzarlo con il kit di strumenti AgentCore Starter