Anunciamos Amazon EC2 Trn3 UltraServers para un entrenamiento en IA generativa más rápido y económico
AWS anuncia la disponibilidad general de Amazon Elastic Compute Cloud (Amazon EC2), las instancias Trn3 UltraServers equipadas con nuestro chip de lA de 4ª. generación Trainium3, el primer chip de IA de 3 nm de AWS que ha sido diseñado de manera específica con el objetivo de ofrecer la mejor economía de tokens para aplicaciones agénticas, de razonamiento y de generación de video de vanguardia.
Cada chip AWS Trainium3 proporciona 2,52 petaflops (PFLOP) de procesamiento FP8, aumenta la capacidad de memoria en 1,5 veces y el ancho de banda en 1,7 veces en comparación con Trainium2, hasta 144 GB de memoria HBM3e y 4,9 TB/s de ancho de banda de memoria. Trainium3 está diseñado para cargas de trabajo densas y paralelas para expertos con tipos de datos avanzados (MXFP8 y MXFP4) y un equilibrio mejorado entre la memoria y el procesamiento para tareas de razonamiento, multimodales y en tiempo real.
Las instancias Trn3 UltraServers pueden escalar hasta 144 chips Trainium3 (362 PFLOP FP8 en total) y están disponibles en EC2 UltraClusters 3.0 para escalar a cientos de miles de chips. Las instancias Trn3 UltraServer totalmente configuradas ofrecen hasta 20,7 TB de HBM3e y 706 TB/s de ancho de banda de memoria agregado. Las instancias Trn3 UltraServer de próxima generación cuentan con el NeuronSwitch-v1, una estructura integral que duplica el ancho de banda de interconexión entre chips en comparación con el Trn2 UltraServer.
Las instancias Trn3 ofrecen un rendimiento hasta 4,4 veces mayor, un ancho de banda de memoria 3,9 veces superior y una relación rendimiento/vatio 4 veces mejor en comparación con las instancias Trn2 UltraServers, lo que proporciona la mejor relación entre precio y rendimiento para la el entrenamiento y el servicio de modelos de frontera a escala, incluidos el aprendizaje por refuerzo, la mezcla de expertos (MoE), el razonamiento y las arquitecturas de contexto extendido. En Amazon Bedrock, Trainium3 es nuestro acelerador más rápido, ya que ofrece un rendimiento hasta 3 veces más rápido que Trainium2, con más de 5 veces más tokens de producción por megavatio con una latencia similar por usuario.
Las nuevas instancias Trn3 UltraServer están diseñadas para los investigadores de IA y se basan en el SDK de AWS Neuron, para lograr un rendimiento sin precedentes. Con la integración nativa de PyTorch, los desarrolladores pueden entrenar e implementar sin cambiar ni una sola línea de código modelo. Para los ingenieros de rendimiento de IA, hemos permitido un acceso más profundo a Trainium 3, de modo que puedan ajustar el rendimiento, personalizar los núcleos y llevar los modelos aún más lejos. Dado que la innovación se nutre de la apertura, nos comprometemos a interactuar con nuestros desarrolladores a través de herramientas y recursos de código abierto.