La inferencia de Amazon SageMaker AI ahora es compatible con las instancias G7
La inferencia de Amazon SageMaker AI ahora admite instancias G7 con GPU NVIDIA RTX PRO 4500 Blackwell Server Edition, lo que le permite implementar modelos de machine learning con un rendimiento de inferencia de IA de hasta 4,6 veces mayor que el de las instancias G6 de la generación anterior. Los clientes que implementan modelos de IA generativa para la inferencia de producción necesitan un alto rendimiento de GPU y capacidad de memoria para atender modelos medianos y grandes de manera rentable, pero las instancias de la generación anterior a menudo requerían aprovisionar en exceso costosos recursos de cómputo o cuantificar los modelos para que se adapten a las restricciones de memoria.
Las instancias G7 proporcionan 32 GB de memoria de GPU por GPU con núcleos Tensor de 5.a generación, hasta 700 Gbps de redes compatibles con EFA (7 veces en comparación con la G6) y hasta 7,6 TB de almacenamiento SSD NVMe local para mantener los modelos grandes cerca de la computación. Estas capacidades hacen que las instancias G7 sean adecuadas para servir modelos en el rango de parámetros de 7000 millones a 30 000 millones, cargas de trabajo de generación de imágenes y videos y puntos de conexión de inferencia de varios modelos que se benefician de un mayor ancho de banda y rendimiento de memoria. Puede implementar modelos en las instancias G7 mediante la consola de inferencia de IA, la API o el SDK de SageMaker especificando los tipos de instancias G7 (como ml.g7.xlarge a ml.g7.48xlarge) en la configuración de su punto de conexión.
Las instancias G7 para la inferencia de IA de SageMaker están disponibles en las regiones este de EE. UU. (norte de Virginia, Ohio) y oeste de EE. UU. (Oregón). Para obtener información sobre estas instancias, consulte nuestra página de precios.