Amazon Bedrock AgentCore presenta nuevas capacidades de optimización para mejorar continuamente a los agentes en producción
Hoy, AWS anuncia nuevas capacidades de optimización en AgentCore que convierten los rastros de producción en una mejora continua para los agentes. Las fallas más peligrosas de los agentes no son las que producen errores. Son las silenciosas que se ven bien en los paneles. Estas fallas no producen ninguna señal de error y, a menudo, surgen de las quejas de los clientes semanas después. AgentCore cierra esa brecha con un bucle para conocer lo que hacen los agentes, generar soluciones basadas en los datos y demostrar que funcionan.
Para conocer el comportamiento de los agentes, AgentCore muestra información sobre los errores, la intención y la trayectoria en cientos de sesiones. De esta manera, se revelan patrones que ningún panel de o una revisión de rastreo individual detectarían. La información de los errores identifica patrones recurrentes de errores, incluidos los errores de comportamientos silenciosos, explican la causa raíz de cada una y las clasifican según su prevalencia, para que los equipos puedan resolver primero los problemas que afectan a la mayor cantidad de usuarios. La información sobre la intención agrupa las solicitudes de clúster según lo que los usuarios intentaban hacer. La información sobre la trayectoria agrupa las rutas que los agentes siguen en una tarea, revelando patrones y valores atípicos comunes. Los clientes pueden habilitar la supervisión continua o llevar a cabo una investigación específica en minutos. Para solucionar los problemas con confianza, las recomendaciones analizan rastros y resultados de las evaluaciones para proponer mejoras específicas en las peticiones del sistema y las descripciones de las herramientas, basándose en el comportamiento real del agente. Cada recomendación incluye una justificación clara vinculada a las fallas observadas y viene lista para su validación, no como una sugerencia genérica sino como un cambio específico derivado de los datos de producción. Antes de que un cambio llegue a los usuarios, la evaluación por lotes evalúa las recomendaciones comparándolas con un conjunto de datos de prueba definido e informa las puntuaciones agregadas de varios evaluadores. De esta manera, se detectan las regresiones de forma temprana. Los clientes definen qué se considera correcto y la evaluación por lotes compara cada cambio propuesto con ese estándar a gran escala. A continuación, las pruebas A/B confirman que las mejoras se mantienen en condiciones reales. Para ello, se realiza una comparación controlada entre las versiones de los agentes dividiendo el tránsito de producción en vivo y midiendo los resultados en paralelo. Esto proporciona evidencia estadística de que un cambio realmente funciona en la producción, no solo en los datos de prueba, antes de que los clientes se comprometan a implementarlo en toda la flota. Estas capacidades funcionan independientemente de dónde se pongan en marcha los agentes: entornos de AgentCore Runtime, AWS Lambda, Amazon EKS o que no son de AWS.
La información sobre los errores, la intención y la trayectoria ya está disponible en versión preliminar en 13 regiones de AWS. Las evaluaciones por lotes, las recomendaciones y las pruebas A/B están disponibles de forma general hoy en día en 14 regiones de AWS. Para obtener más información, visite Amazon Bedrock AgentCore o consulte la documentación.