Las evaluaciones de Amazon Bedrock AgentCore ya están disponibles de forma general
Las Evaluaciones de Amazon Bedrock AgentCore ya están disponibles de forma general y proporcionan una evaluación de calidad automatizada para los agentes de IA. Las evaluaciones permiten a los desarrolladores supervisar la calidad de los agentes mediante una evaluación continua del tráfico de producción, validar los cambios mediante flujos de trabajo de pruebas y medir el rendimiento de los agentes en función de las expectativas definidas. Existen dos tipos de Evaluaciones de AgentCore. La evaluación en línea supervisa continuamente el desempeño de los agentes en la producción mediante el muestreo y la puntuación de los rastreos en vivo. La evaluación bajo demanda permite a los equipos probar los agentes mediante programación, lo que permite realizar pruebas de regresión en procesos de integración y entrega continuas, y flujos de trabajo de desarrollo interactivos.
Los equipos pueden evaluar a los agentes mediante 13 evaluadores integrados para determinar la calidad de la respuesta, la seguridad, la finalización de las tareas y el uso de las herramientas. Los desarrolladores también pueden utilizar Ground Truth para comparar el desempeño de los agentes con las expectativas, lo que incluye las respuestas de referencia para la validación de las respuestas, las afirmaciones de comportamiento para los objetivos de sesión y las secuencias esperadas de ejecución de las herramientas. Para los requisitos específicos de un dominio, los equipos pueden configurar evaluadores personalizados mediante las peticiones y el modelo que elijan para la evaluación basada en LLM; o bien, pueden implementar una lógica personalizada en Python o JavaScript mediante funciones alojadas en Lambda para la evaluación basada en código. Las evaluaciones se integran con AgentCore Observability para una supervisión unificada y alertas en tiempo real.
Evaluaciones de AgentCore está disponible en nueve regiones de AWS: este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (Oregón), Asia-Pacífico (Mumbai), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Europa (Fráncfort) y Europa (Irlanda).
Obtenga más información sobre Evaluaciones de Amazon Bedrock AgentCore en la documentación y comience a utilizar el conjunto de herramientas de inicio de AgentCore.