Les évaluations d’Amazon Bedrock AgentCore sont désormais disponibles pour tous
Les évaluations d’Amazon Bedrock AgentCore Evaluations sont désormais disponibles pour tous, fournissant une évaluation automatique de la qualité pour les agents d’IA. Les évaluations permettent aux développeurs de surveiller la qualité des agents grâce à une évaluation continue du trafic de production, de valider les modifications en testant les flux de travail et de mesurer les performances des agents par rapport à des attentes définies. Les évaluations d’AgentCore proposent deux types d’évaluation. L’évaluation en ligne surveille en permanence les performances des agents en production en échantillonnant et en évaluant les traces en direct. L’évaluation à la demande permet aux équipes de tester les agents par programmation, en prenant en charge les tests de régression dans les pipelines CI/CD et les flux de développement interactifs.
Les équipes peuvent évaluer les agents à l’aide de 13 évaluateurs intégrés pour la qualité des réponses, la sécurité, l’exécution des tâches et l’utilisation des outils. Les développeurs peuvent également utiliser Ground Truth pour mesurer les performances des agents par rapport aux attentes, y compris les réponses de référence pour la validation des réponses, les assertions comportementales pour les objectifs au niveau de la session et les séquences d’exécution des outils attendues. Pour les exigences spécifiques à un domaine, les équipes peuvent configurer des évaluateurs personnalisés en utilisant les invites et le modèle de leur choix pour une évaluation basée sur LLM, ou implémenter une logique personnalisée en Python ou JavaScript via des fonctions hébergées par Lambda pour une évaluation basée sur le code. Les évaluations s’intègrent à l’observatoire d’AgentCore pour une surveillance unifiée et des alertes en temps réel.
Les évaluations AgentCore sont disponible dans neuf régions AWS : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Asie-Pacifique (Mumbai), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Europe (Francfort), Europe (Irlande).
Pour en savoir plus sur les évaluations d’Amazon Bedrock AgentCore, consultez la documentation et commencez à utiliser le kit de démarrage AgentCore.