Anunciamos la expansión regional de las instancias G7e en la inferencia de IA de SageMaker
Nos complace anunciar la disponibilidad de las instancias G7e de Amazon EC2 en Asia-Pacífico (Seúl), Europa (Londres) y Asia-Pacífico (Tokio) en la inferencia de Amazon SageMaker AI. Las instancias G7e incluyen hasta 8 GPU NVIDIA RTX PRO 6000 Blackwell Server Edition con 96 GB de memoria por GPU, procesadores Intel Xeon de 5.a generación y hasta 1600 Gbps de ancho de banda de la red de Elastic Fabric Adapter. De este modo, se ofrece un rendimiento de inferencia de hasta 2,3 veces mayor que las instancias G6e de la generación anterior.
Con esta expansión regional, ahora puede implementar puntos de conexión de inferencia en instancias G7e más cerca de sus usuarios finales en Asia y Europa, lo que reduce la latencia de las cargas de trabajo de IA generativa. Las instancias G7e ofrecen hasta 768 GB de memoria de GPU total en una sola instancia, lo que le permite ofrecer modelos lingüísticos de tamaño mediano a grande con hasta 70 B de parámetros con precisión FP8 sin configuraciones de varios nodos. Estas instancias son idóneas para cargas de trabajo de inferencia de LLM, generación de imágenes y vídeos, computación espacial y computación científica que requieren una gran capacidad de memoria de GPU y ancho de banda.
Las instancias G7e para la inferencia de IA de SageMaker ya están disponibles en Asia-Pacífico (Seúl), Europa (Londres) y Asia-Pacífico (Tokio), además de en las regiones compatibles anteriormente. Para obtener información sobre estas instancias, consulte nuestra página de precios.