Amazon CloudWatch añade la observabilidad de la IA generativa (versión preliminar)
Amazon CloudWatch ahora lo ayuda a observar las cargas de trabajo y las aplicaciones de IA generativas, incluidos los agentes implementados y operados con Amazon Bedrock AgentCore (versión preliminar), lo que proporciona información sobre el rendimiento, el estado y la precisión de la IA. Obtiene una visión lista para usar de la latencia, el uso y los errores de sus cargas de trabajo de IA para detectar problemas con mayor rapidez en componentes como las invocaciones de modelos y los agentes. También puede encontrar problemas con mayor rapidez mediante el rastreo rápido integral de componentes como bases de conocimiento, herramientas y modelos. Esta característica es compatible con los marcos de orquestación de IA generativa más populares, como Strands Agents, LangChain y LangGraph, y ofrece flexibilidad con el marco que elija.
Con esta nueva característica, Amazon CloudWatch analiza los datos de telemetría de todos los componentes de una aplicación de IA generativa, lo que ayuda a identificar rápidamente el origen de los errores. Por ejemplo, puede identificar el origen de las respuestas inexactas (ya sea que se deban a lagunas en su VectorDB o a intentos incompletos del sistema RAG) mediante el rastreo de peticiones de extremo a extremo, métricas y registros seleccionados. Esta visión conectada de las interacciones de los componentes ayuda a los desarrolladores a optimizar las cargas de trabajo con mayor rapidez para ofrecer altos niveles de disponibilidad, precisión, confiabilidad y calidad. Los desarrolladores pueden hacer que los agentes de IA funcionen sin problemas supervisando y evaluando la flota de agentes en un solo lugar. La vista seleccionada por agentes está disponible en la pestaña “AgentCore” de la consola de CloudWatch para la observabilidad de IA generativa. La observabilidad de la IA generativa se integra con otras capacidades de CloudWatch, como las señales de aplicaciones, las alarmas, los paneles, la protección de datos confidenciales y la información de registros, lo que le ayuda a ampliar sin problemas las herramientas de observabilidad existentes para monitorear las cargas de trabajo de IA generativa.
Esta característica está disponible en versión preliminar en 4 regiones: este de EE. UU. (Norte de Virginia), oeste de EE. UU. (Oregón), Europa (Fráncfort) y Asia Pacífico (Sídney). Para obtener más información, consulte la documentación. Los precios de CloudWatch se aplican a los datos de telemetría recopilados y almacenados.