Clientes de AWS Trainium

El rendimiento y la escala no son solo requisitos técnicos, sino aspectos fundamentales para lograr ese objetivo. Por eso nos asociamos con AWS como nuestro principal proveedor de nube para crear Project Rainier, uno de los superordenadores de IA operativa más potentes del mundo. Con casi un millón de chips Trainium2 que hoy entrenan y sirven Claude, estamos entusiasmados con Trainium3 y esperamos seguir escalando Claude mucho más allá de lo logrado con Project Rainier y ampliar los límites de lo posible en IA.

James Bradbury, director de Computación, Anthropic.

Nuestra asociación con AWS nos brinda ambas cosas. Trainium permite a nuestros clientes escalar el uso de poolside con una relación entre precio y rendimiento diferente a la de otros aceleradores de IA. Además, la compatibilidad nativa con PyTorch y vLLM en Trainium, disponible próximamente, ofrecerá más posibilidades de innovación y flexibilidad para los usuarios de Trainium, incluido poolside. Por encima de todo, destaca el enfoque en el cliente de AWS; pudieron iterar con rapidez y utilizar nuestras opiniones para adaptar Trainium a lo que necesitábamos. Esperamos profundizar nuestra colaboración en todos los aspectos de Trainium.

Joe Rowell, ingeniero fundador

La arquitectura única de Trainium (jerarquía de memoria eficiente y motores de IA de alto rendimiento) demostró ser ideal para los modelos de video en tiempo real de Decart, ya que impulsó la plena utilización del hardware. Las primeras pruebas muestran un rendimiento de fotogramas hasta 4 veces mayor y una rentabilidad 2 veces superior en comparación con las principales GPU, con una latencia reducida de 40 ms a 10 ms. Este rendimiento permite la generación de video en directo, dinámico e interactivo a escala, algo que antes imposible con el hardware estándar. Los clientes de AWS pronto tendrán acceso directo a estas capacidades a través de Bedrock.

Dean Leitersdorf, cofundador y director ejecutivo
 

Al adoptar AWS Trainium, redujimos nuestros costos de entrenamiento de LLM en más del 50 % y, al mismo tiempo, mantuvimos una disponibilidad constante de la infraestructura. Esto nos ha permitido crear el modelo de idioma japonés más preciso de Japón y, al mismo tiempo, mantenernos muy por debajo del presupuesto. La estabilidad de la infraestructura también ha generado un aumento inesperado de la productividad, lo que ha permitido a nuestro equipo centrarse en la innovación en lugar de en solucionar problemas.

Tomofumi Nakayama, director de operaciones

En 2025, la comunidad de IA alcanzó un punto de inflexión con más de 10 millones de creadores de IA que usaron y compartieron millones de modelos y conjuntos de datos abiertos en Hugging Face. Ahora es más importante que nunca reducir el costo de ejecución de modelos abiertos cada vez más grandes y diversos, a fin de garantizar que la IA beneficie a todas las personas y sectores. En Hugging Face, hemos trabajado codo con codo con los equipos de ingeniería de AWS en la creación de chips de IA diseñados específicamente desde que estuvieron disponibles las primeras instancias de Inferentia1. Por eso, hoy estamos increíblemente entusiasmados con Trainium3, la próxima generación de chips de IA de AWS que impulsará las aplicaciones de IA más exigentes, desde LLM MoE hasta agentes y modelos de generación de video. Con Optimum Neuron, nos comprometemos a brindar los beneficios de alta memoria y rentabilidad de Trainium 3 a los millones de usuarios de Transformers, Accelerate, Diffusers y TRL, para que puedan crear su propia IA mientras controlan los costos.

El objetivo de PyTorch es sencillo: el mismo código debe ejecutarse en cualquier plataforma de hardware. El soporte nativo de Trainium de AWS ofrece esta opción de hardware a los investigadores que necesitan experimentar con rapidez e iterar de manera libre. Con el lanzamiento de AWS Trainium3, los desarrolladores de PyTorch pueden investigar, crear e implementar sus ideas con un mayor rendimiento, una latencia más baja y una mejor economía de tokens, a la vez que mantienen los flujos de trabajo de PyTorch habituales y se permanecen en el ecosistema que ya conocen.