Instancias y UltraServers Trn2 de Amazon EC2

La computación de EC2 más potente para el entrenamiento y la inferencia de la IA generativa

¿Por qué elegir instancias y UltraServers Trn2 de Amazon EC2?

Las instancias Trn2 de Amazon EC2, equipadas con 16 chips AWS Trainium2, están diseñadas específicamente para la IA generativa y son las instancias de EC2 más potentes para entrenar e implementar modelos con entre cientos de miles de millones y más de un billón de parámetros. Las instancias Trn2 ofrecen entre un 30 y un 40 % de mejor rendimiento de precio que la generación actual de instancias P5e y P5en de EC2 basadas en GPU. Con las instancias Trn2, puede obtener un rendimiento de inferencia y entrenamiento de vanguardia y, al mismo tiempo, reducir los costos, de modo que puede reducir los tiempos de entrenamiento, realizar iteraciones más rápido y ofrecer experiencias impulsadas por la IA en tiempo real. Puede usar las instancias Trn2 para entrenar e implementar modelos que incluyen modelos de lenguaje de gran tamaño (LLM), modelos multimodales y transformadores de difusión para crear aplicaciones de IA generativa de última generación.

Para reducir los tiempos de entrenamiento y ofrecer tiempos de respuesta innovadores (latencia por token) para los modelos más exigentes y vanguardistas, es posible que necesite más capacidad de cómputo y memoria de los que puede ofrecer una sola instancia. Los UltraServers Trn2 utilizan NeuronLink, nuestra interconexión exclusiva de chip a chip, para conectar 64 chips Trainium2 en cuatro instancias Trn2, lo que cuadruplica la capacidad de cómputo, memoria y el ancho de banda de red disponible en un solo nodo, y ofrece un rendimiento sin precedentes en AWS para cargas de trabajo de aprendizaje profundo e IA generativa. A modo de inferencia, los UltraServers ayudan a ofrecer un tiempo de respuesta líder en la industria para crear las mejores experiencias en tiempo real. En cuanto al entrenamiento, los UltraServers aumentan la velocidad y la eficiencia del entrenamiento de modelos con una comunicación colectiva más rápida para lograr el paralelismo de los modelos en comparación con las instancias independientes.

Puede comenzar fácilmente con las instancias Trn2 y los UltraServers Trn2 con soporte nativo para los marcos de machine learning (ML) más populares, como PyTorch y JAX.

Beneficios

Características

Testimonios de clientes y socios

Estos son algunos ejemplos de cómo los clientes y los socios planean lograr sus objetivos empresariales con las instancias Trn2 de Amazon EC2.

  • Anthropic

    En Anthropic, millones de personas confían a diario en Claude para realizar sus trabajos. Anunciamos dos avances importantes con AWS. En primer lugar, un nuevo “modo optimizado para latencia” para Claude 3.5 Haiku, que funciona un 60 % más rápido en Trainium2 a través de Amazon Bedrock. En segundo lugar, el Proyecto Rainier. Se trata de un clúster nuevo con cientos de miles de chips Trainium2 que ofrecen cientos de exaflops, lo que supone más de cinco veces el tamaño de nuestro clúster anterior. El Proyecto Rainier ayudará a impulsar tanto nuestra investigación como nuestra próxima generación de escalamiento. Para nuestros clientes, esto significa más inteligencia, precios más bajos y velocidades más rápidas. No solo estamos creando una IA más rápida, sino también una IA fiable que escale.

    Tom Brown, Chief Compute Officer de Anthropic
  • Databricks

    Mosaic AI de Databricks permite a las organizaciones crear e implementar sistemas de agentes de calidad. Se crea de forma nativa sobre el data lakehouse, lo que permite a los clientes personalizar sus modelos de forma fácil y segura con datos empresariales y ofrecer resultados más precisos y específicos de cada dominio. Gracias al alto rendimiento y la rentabilidad de Trainium, los clientes pueden escalar el entrenamiento del modelo en Mosaic AI a un costo bajo. La disponibilidad de Trainium2 será un beneficio importante para Databricks y sus clientes, ya que la demanda de Mosaic AI sigue creciendo en todos los segmentos de clientes y en todo el mundo. Databricks, una de las empresas de datos e IA más grandes del mundo, planea utilizar TRN2 para ofrecer mejores resultados y reducir el TCO hasta en un 30 % para sus clientes.

    Naveen Rao, VP of Generative AI de Databricks
  • poolside

    En poolside, queremos construir un mundo en el que la IA impulse la mayoría del trabajo de valor económico y el progreso científico. Creemos que el desarrollo de software será la primera capacidad importante de las redes neuronales que alcance el nivel de inteligencia humana, ya que es el dominio en el que mejor se pueden combinar los enfoques de búsqueda y aprendizaje. Por lo tanto, estamos creando modelos fundacionales, una API y un asistente para llevar el poder de la IA generativa a las manos (o al teclado) de los desarrolladores. Una de las claves para habilitar esta tecnología es la infraestructura que utilizamos para crear y ejecutar nuestros productos. Gracias a AWS Trainium2, nuestros clientes podrán escalar el uso de poolside con una relación precio-rendimiento diferente a la de otros aceleradores de IA. Además, planeamos entrenar los modelos futuros con Trainium2 UltraServer, con un ahorro previsto del 40 % en comparación con las instancias P5 de EC2.

    Eiso Kant, CTO & Co-founder de poolside
  • Itaú Unibanco

    El propósito de Itaú Unibanco es mejorar la relación de las personas con el dinero, lo que crea un impacto positivo en sus vidas y amplía sus oportunidades de transformación. En Itaú Unibanco, creemos que cada cliente es único y nos enfocamos en satisfacer sus necesidades a través de viajes digitales intuitivos, que aprovechan el poder de la IA para adaptarse constantemente a sus hábitos de consumo.

    Probamos AWS Trainium e Inferentia en varias tareas, que van desde la inferencia estándar hasta aplicaciones refinadas. El rendimiento de estos chips de IA nos ha permitido alcanzar hitos importantes en la investigación y el desarrollo. En las tareas de inferencia por lotes y en línea, observamos que el rendimiento mejoró 7 veces en comparación con las GPU. Este rendimiento mejorado está impulsando la expansión de más casos de uso en toda la organización. La última generación de chips Trainium2 desbloquea características innovadoras para GenAI y abre la puerta a la innovación en Itaú.

    Vitor Azeka, Head of Data Science de Itaú Unibanco
  • NinjaTech AI

    Ninja es un agente de IA completo para que busca lograr una productividad ilimitada: una suscripción simple, acceso ilimitado a los mejores modelos de IA del mundo y las mejores habilidades de IA, como la escritura, la codificación, la lluvia de ideas, la generación de imágenes y la investigación en línea. Ninja es una plataforma de agentes y ofrece “SuperAgent”, que utiliza una mezcla de agentes con una precisión de primera clase comparable a la de los modelos fundacionales de frontera (y en algunas categorías la supera). La tecnología agente de Ninja exige aceleradores de alto rendimiento para ofrecer las experiencias únicas en tiempo real que nuestros clientes esperan. 

    Estamos muy entusiasmados con el lanzamiento de AWS TRN2 porque creemos que ofrecerá el mejor costo por token y la mayor velocidad posible de la actualidad para nuestro modelo principal Ninja LLM, que se basa en Llama 3.1 405B. Es increíble ver la baja latencia de Trn2, junto con los precios competitivos y la disponibilidad bajo demanda. No podríamos estar más entusiasmados con la llegada de Trn2.

    Babak Pahlavan, Founder & CEO de NinjaTech AI
  • Ricoh

    El equipo de machine learning de RICOH desarrolla soluciones para el lugar de trabajo y servicios de transformación digital diseñados para administrar y optimizar el flujo de información en nuestras soluciones empresariales.

    La migración a las instancias Trn1 fue sencilla. Pudimos entrenar previamente nuestro LLM de 13 000 millones de parámetros en solo 8 días con un clúster de 4096 chips Trainium. Luego del éxito que obtuvimos con nuestro modelo más pequeño, refinamos un LLM nuevo y más grande basado en Llama-3-Swallow-70B y, gracias a Trainium, pudimos reducir un 50 % nuestros costos de entrenamiento y mejorar un 25% la eficiencia energética en comparación con el uso de las máquinas GPU más recientes de AWS. Nos entusiasma aprovechar la última generación de chips de IA de AWS, Trainium2, para seguir ofreciendo a nuestros clientes el mejor rendimiento al costo más bajo.

    Yoshiaki Umetsu, Director, Digital Technology Development Center de Ricoh
  • PyTorch

    Lo que más me gustó de la biblioteca de NxD Inference de AWS Neuron es cómo se integra perfectamente con los modelos de PyTorch. El enfoque de NxD es sencillo y fácil de utilizar. Nuestro equipo pudo incorporar los modelos de PyTorch en HuggingFace con cambios mínimos en el código y en poco tiempo. La habilitación de características avanzadas como el procesamiento por lotes continuo y la decodificación especulativa fue sencilla. El uso sencillo mejora la productividad de los desarrolladores, lo que permite a los equipos centrarse más en la innovación y menos en los desafíos de integración.

    Hamid Shojanazeri, PyTorch Partner Engineering Lead de Meta
  • Refact.ai

    Refact.ai ofrece herramientas de IA completas, como el autocompletado de código con generación aumentada por recuperación (RAG), que proporciona sugerencias más precisas, y un chat que se adapta al contexto mediante modelos patentados y de código abierto.

    Los clientes han alcanzado hasta un 20 % más de rendimiento y 1,5 veces más de tokens por dólar con las instancias Inf2 de EC2 en comparación con las instancias G5 de EC2. Las capacidades de ajuste de Refact.ai mejoran aún más la capacidad de nuestros clientes para comprender y adaptarse al entorno y al código base único de sus organizaciones. Nos complace también ofrecer las capacidades de Trainium2, que brindarán un procesamiento aún más rápido y eficiente a nuestros flujos de trabajo. Esta tecnología avanzada permitirá a nuestros clientes acelerar el proceso de desarrollo de software, ya que aumenta la productividad de los desarrolladores y, al mismo tiempo, mantiene estrictos estándares de seguridad para la base de código.

    Oleg Klimov CEO & Founder de Refact.ai
  • Karakuri Inc.

    KARAKURI crea herramientas de IA para mejorar la eficacia de la atención al cliente basada en la web y simplificar la experiencia de los clientes. Estas herramientas incluyen chatbots de IA equipados con funciones de IA generativa, herramientas de centralización de preguntas frecuentes y una herramienta de respuesta por correo electrónico, todo lo cual mejora la eficiencia y la calidad de la atención al cliente. Gracias a AWS Trainium, logramos entrenar KARAKURI LM 8x7B Chat v0.1. Las empresas emergentes, como nosotros, necesitamos optimizar el tiempo de creación y el costo requerido para entrenar a los LLM. Con el apoyo de AWS Trainium y el equipo de AWS, logramos desarrollar un LLM de nivel práctico en poco tiempo. Además, con la adopción de AWS Inferentia pudimos crear un servicio de inferencia rápido y rentable. Estamos entusiasmados con Trainium2 porque revolucionará nuestro proceso de entrenamiento, reducirá nuestro tiempo de entrenamiento a la mitad e impulsará la eficiencia a niveles nuevos.

    Tomofumi Nakayama, Co-Founder de Karakuri Inc.
  • Stockmark Inc.

    Con la misión de “reinventar el mecanismo de creación de valor y hacer avanzar a la humanidad”, Stockmark ayuda a muchas empresas a crear y construir negocios innovadores al proporcionar tecnología de procesamiento del lenguaje natural de vanguardia. El nuevo servicio de análisis y recopilación de datos de Stockmark, llamado Anews, y SAT, un servicio de estructuración de datos que mejora drásticamente los usos de la IA generativa mediante la organización de todas las formas de información almacenada en una organización, nos obligaron a replantearnos la forma en que creamos e implementamos los modelos para respaldar estos productos. Con 256 aceleradores Trainium, desarrollamos y publicamos stockmark-13b, un modelo de lenguaje de gran tamaño con 13 000 millones de parámetros, previamente entrenado desde cero en un conjunto de datos japonés de 220 000 millones de tokens. Las instancias Trn1 nos ayudaron a reducir un 20% los costos de entrenamiento. Con Trainium, desarrollamos con éxito un LLM que puede responder a preguntas críticas empresariales de profesionales con una precisión y velocidad sin precedentes. Este logro es particularmente notable dado el desafío generalizado al que se enfrentan las empresas a la hora de conseguir recursos computacionales adecuados para el desarrollo de modelos. Con la impresionante reducción de costos y la velocidad de las instancias Trn1, nos entusiasma ver los beneficios adicionales que Trainium2 aportará a nuestros flujos de trabajo y clientes.

    Kosuke Arima, CTO and Co-founder de Stockmark Inc.
  • Brave

    Brave es un navegador y motor de búsqueda independiente dedicado a priorizar la privacidad y la seguridad del usuario. Con más de 70 millones de usuarios, ofrecemos protecciones líderes en el sector que hacen que la Web sea más segura y fácil de usar. A diferencia de otras plataformas que se han alejado de los enfoques centrados en el usuario, Brave mantiene su compromiso de priorizar la privacidad, la seguridad y la comodidad. Las características principales incluyen el bloqueo de scripts y rastreadores dañinos, resúmenes de páginas asistidos por IA impulsados por LLM, servicios de VPN integrados, etc. Nos esforzamos continuamente por mejorar la velocidad y la rentabilidad de nuestros servicios de búsqueda y modelos de IA. Para lograrlo, nos complace aprovechar las capacidades más recientes de los chips de IA de AWS, incluido Trainium2, para mejorar la experiencia del usuario a medida que escalamos para administrar miles de millones de consultas de búsqueda al mes.

    Subu Sathyanarayana , VP of Engineering de Brave Software
  • Anyscale

    Anyscale es la empresa detrás de Ray, un motor informático de IA que impulsa las iniciativas de IA generativa y machine learning para empresas. Gracias a la plataforma de IA unificada de Anyscale impulsada por RayTurbo, los clientes obtienen un procesamiento de datos hasta 4,5 veces más rápido, una inferencia por lotes 10 veces más económica con LLM, un escalado 5 veces más rápido, una iteración 12 veces más rápida y un ahorro de costos del 50 % para la inferencia de modelos en línea mediante la optimización de la utilización de recursos.

    En Anyscale, nos comprometemos a brindar a las empresas las mejores herramientas para escalar las cargas de trabajo de IA de manera eficiente y rentable. Con soporte nativo para los chips de AWS Trainium e Inferentia, impulsados por la versión ejecutable de RayTurbo, nuestros clientes tienen acceso a opciones rentables y de alto rendimiento para el servicio y el entrenamiento del modelo. Nos entusiasma unir fuerzas con AWS en Trainium2, ya que se desbloquean nuevas oportunidades para que nuestros clientes innoven rápidamente y ofrezcan experiencias de IA transformadoras de alto rendimiento a escala.

    Robert Nishihara, Cofounder de Anyscale
  • Datadog

    Datadog, la plataforma de observabilidad y seguridad para aplicaciones en la nube, ofrece AWS Trainium e Inferentia Monitoring para que los clientes optimicen el rendimiento de los modelos, mejoren la eficiencia y reduzcan los costos. La integración de Datadog proporciona una visibilidad completa de las operaciones de ML y del rendimiento subyacente de los chips, lo que permite una resolución proactiva de los problemas y un escalado sin inconvenientes de la infraestructura. Nos complace ampliar nuestra asociación con AWS para el lanzamiento de AWS Trainium2, que ayuda a los usuarios a reducir los costos de infraestructura de IA hasta en un 50 % y a impulsar el entrenamiento del modelo y el rendimiento de la implementación.

    Yrieix Garnier, VP of Product Company de Datadog
  • Hugging Face

    Hugging Face es la plataforma abierta líder para desarrolladores de IA, con más de 2 millones de modelos, conjuntos de datos y aplicaciones de IA compartidos por una comunidad de más de 5 millones de investigadores, científicos de datos, ingenieros de machine learning y desarrolladores de software. Hemos colaborado con AWS durante los dos últimos años para que los desarrolladores puedan disfrutar más fácilmente de las ventajas de rendimiento y los costos de AWS Inferentia y Trainium a través de la biblioteca de código abierto Optimum Neuron, integrada en los puntos de enlace de inferencia de Hugging Face y ahora optimizada dentro de nuestro nuevo servicio de implementación automática HUGS, disponible en AWS Marketplace. Con el lanzamiento de Trainium2, nuestros usuarios accederán a un rendimiento aún mayor para desarrollar e implementar modelos más rápidamente.

    Jeff Boudier, Head of Product de Hugging Face
  • Lightning AI

    Lightning AI, el creador de PyTorch Lightning y Lightning Studios, ofrece la plataforma de desarrollo de IA más completa e intuitiva para IA de nivel empresarial. Lightning ofrece herramientas de código completo, poco código y sin código para crear agentes, aplicaciones de IA y soluciones de IA generativa ultrarrápidas. Diseñada para ofrecer flexibilidad, se ejecuta sin problemas en su nube o en la nuestra, y aprovecha la experiencia y el apoyo de una comunidad de desarrolladores de más de 3 millones de personas.

    Lightning ahora ofrece soporte nativo para los chips de IA de AWS, Trainium e Inferentia, que están integrados en Lightning Studios y nuestras herramientas de código abierto, como PyTorch Lightning, Fabric y LitServe. Esto brinda a los usuarios una capacidad perfecta para entrenarlos previamente, ajustarlos e implementarlos a escala, lo que optimiza el costo, la disponibilidad y el rendimiento sin gastos de conmutación, y ofrece los beneficios de rendimiento y costos de los chips de IA de AWS, incluida la última generación de chips Trainium2, que ofrecen un mayor rendimiento a menor costo.

    Luca Antiga, CTO de Lightning AI
  • Domino Data Lab

    Domino orquesta todos los artefactos de la ciencia de datos, incluida la infraestructura, los datos y los servicios en AWS en todos los entornos, complementando Amazon SageMaker con capacidades de gobernanza y colaboración para respaldar a los equipos de ciencia de datos empresariales. Domino está disponible a través de AWS Marketplace como SaaS o admministración automática.

    Las empresas líderes deben equilibrar la complejidad técnica, los costos y la gobernanza, dominando las opciones de expansión de la IA para obtener una ventaja competitiva. En Domino, nos comprometemos a ofrecer a los clientes acceso a las tecnologías más avanzadas. Teniendo en cuenta que la computación representa un obstáculo para muchas innovaciones revolucionarias, nos complace ofrecer a los clientes acceso a Trainium2 para que puedan entrenar y desplegar modelos con mayor rendimiento, menor costo y mejor eficiencia energética.

    Nick Elprin, consejero delegado y cofundador de Domino Data Lab

Introducción

Detalles del producto

Tamaño de la instancia Disponible en EC2 UltraServers Chips de Trainium2 Acelerador
memoria

vCPUs Memoria
(TB)
Almacenamiento de la instancia (TB) Ancho de banda de la red (Tbps) Ancho de banda de EBS (Gbps)
trn2.48xlarge No 16 1,5 TB 192 2 TB 4 x 1,92 SSD NVMe 3,2 80
trn2u.48xlarge (vista previa) 16 1,5 TB 192 2 TB 4 x 1,92 SSD NVMe 3,2 80