Amazon SageMaker AI reduce a la mitad el tiempo de escalado horizontal de la inferencia de IA generativa gracias al almacenamiento automático en caché de imágenes de contenedores
Amazon SageMaker Inference ahora admite el almacenamiento en caché de imágenes de contenedores, lo que permite un escalado de extremo a extremo hasta dos veces más rápido para los modelos de IA generativa durante los eventos de escalado horizontal. Cuando su punto de conexión se escala horizontalmente, el servicio almacena previamente en caché la imagen del contenedor para que las nuevas instancias puedan empezar a atender el tráfico con mayor rapidez, sin tener que esperar a que las imágenes de contenedor de gran tamaño se extraigan de Amazon ECR.
Las cargas de trabajo de IA generativa suelen utilizar imágenes de contenedores de gran tamaño (10 GB o más) para los marcos de aprendizaje profundo y el servicio de modelos. Anteriormente, cada nueva instancia que se ejecuta durante la escalabilidad horizontal tenía que extraer la imagen completa del ECR, lo que agrega varios minutos de latencia de arranque en frío. El almacenamiento en caché de imágenes de contenedores elimina este cuello de botella al extraer previamente la imagen para que las nuevas instancias se lancen con el contenedor ya disponible localmente. Los clientes no necesitan hacer ningún cambio. El servicio almacena automáticamente en caché cualquier URI de imagen que se especifique en la configuración de su punto de conexión o componente de inferencia. Esta capacidad admite tipos de instancias aceleradoras, puntos de conexión de modelo único y puntos de conexión basados en componentes de inferencia.
Con este lanzamiento, SageMaker Inference ahora ofrece un paquete completo de optimización de escalado para la IA generativa: métricas de concurrencia de subminutos para una detección de cargas hasta 6 veces más rápida, almacenamiento en caché de contenedores de almacenes de instancias para escalar más rápido en las instancias existentes y almacenamiento en caché de imágenes de contenedores para escalar hasta 2 veces más rápido en instancias nuevas.
El almacenamiento en caché de imágenes de contenedores está disponible en todas las regiones comerciales de AWS en las que se admite SageMaker Inference. Para obtener más información, visite el blog de lanzamiento.