Amazon SageMaker AI anuncia una nueva capacidad de observabilidad para puntos de enlace de inferencia
La nueva capacidad de observabilidad de Amazon SageMaker AI permite a los clientes gestionar con confianza cargas de trabajo de inferencia de IA generativa en producción, al proporcionar una visibilidad integral del rendimiento de los tokens, el estado de las GPU, la ubicación de los componentes de inferencia y el comportamiento del autoescalamiento. Elimina el trabajo manual de buscar en CloudWatch métricas por punto de enlace, correlacionar los picos de latencia con la saturación de la GPU o el agotamiento de la caché de KV y diagnosticar por qué las operaciones de escalamiento son lentas. Esta capacidad realiza un seguimiento de las métricas de rendimiento de las inferencias en tiempo real, como el tiempo transcurrido hasta el primer token (Time to First Token, TTFT), la latencia entre tokens, la profundidad de las colas y los tokens por segundo, y los muestra junto con el estado de la infraestructura para que los clientes puedan identificar y resolver los problemas en minutos en lugar de horas.
La observabilidad detallada de SageMaker AI transforma la forma en que los clientes supervisan y optimizan su flota de inferencias. El nuevo panel prediseñado de SageMaker AI Insights en Amazon CloudWatch proporciona a los clientes la latencia de los tokens, el uso de las GPU, los recuentos de copias de los componentes de inferencia, los eventos de escalamiento y los desgloses de arranque en frío en una sola vista, con métricas nativas de OpenTelemetry publicadas automáticamente, sin necesidad de instrumentación. Esto permite a los equipos diagnosticar rápidamente la degradación del TTFT, verificar el cumplimiento de las zona de disponibilidad y ajustar las políticas de escalamiento automático. Los clientes que estandarizaron las herramientas de observabilidad, como Grafana, pueden conectarse directamente mediante el punto de enlace regional de PromQL e importar una plantilla de panel preconfigurada. Esta capacidad ayuda a los clientes a resolver por sí mismos los problemas operativos y a maximizar el rendimiento de sus inversiones en IA.
La observabilidad de la inferencia de SageMaker AI está disponible en las siguientes regiones de AWS: este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (Oregón), oeste de EE. UU. (norte de California), Canadá (centro), América del Sur (São Paulo), Europa (Irlanda), Europa (Fráncfort), Europa (Londres), Europa (Estocolmo), Europa (Zúrich), Asia-Pacífico (Mumbai), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Asia-Pacífico (Seúl) y Asia-Pacífico (Yakarta). Para obtener más información, visite la página web de documentación y Amazon SageMaker AI.