La inferencia de Amazon SageMaker AI ahora admite la partición de GPU para puntos de enlace en tiempo real
La inferencia de Amazon SageMaker AI ahora admite la partición de GPU, lo que le permite ejecutar varios modelos en una sola GPU en lugar de dedicar un acelerador completo a cada uno. Mediante la tecnología NVIDIA Multi-Instance GPU (MIG), SageMaker AI divide una GPU en hasta siete particiones aisladas, cada una con su propia memoria y capacidad de cómputo. Los clientes que utilizaban modelos pequeños y medianos, como variantes refinadas, modelos de incrustación, reordenadores y clasificadores, antes tenían que asignarle a cada modelo un acelerador completo, por lo que una instancia no podía alojar más modelos de los que tenía GPU y pagaba por capacidad de GPU que esos modelos nunca llegarían a utilizar.
Con la partición de GPU, usted elige cómo dividir las GPU detrás de su punto de enlace y colocar cada modelo en una partición con el tamaño adecuado para él. Luego, varios modelos comparten un acelerador con un aislamiento impuesto por el hardware, por lo que un modelo ocupado no puede tomar la memoria o el rendimiento de los modelos adyacentes. Ajustar el tamaño de un acelerador a una carga de trabajo de la forma correcta también permite acceder a generaciones de instancias más recientes que, de otra manera, ofrecerían más capacidad de la que necesita un solo modelo. Configura la partición de la GPU cuando crea un punto de enlace que aloja componentes de inferencia y se sigue invocando cada modelo por su nombre, de modo que el código de la aplicación no cambia.
La partición de GPU está disponible en las instancias P4d, P5, G7 y G7e en este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (Oregón), Asia-Pacífico (Singapur), Asia-Pacífico (Tokio), Europa (Fráncfort) y Europa (Irlanda). Para obtener más información, visite la página de despliegue de Amazon SageMaker AI y consulte la Guía del desarrollador de Amazon SageMaker AI.