Las instancias Trn2 de Amazon EC2 están disponibles de forma general
Hoy, AWS anuncia la disponibilidad general de las instancias Trn2 de Amazon Elastic Compute Cloud (Amazon EC2) y la versión preliminar de UltraServers Trn2, con tecnología de chips AWS Trainium2. Las instancias y los UltraServer Trn2 están disponibles mediante bloques de capacidad de EC2 y son las soluciones de computación de EC2 más potentes para el entrenamiento y la inferencia mediante IA generativa y aprendizaje profundo.
Puede usar las instancias Trn2 para entrenar e implementar los modelos fundacionales más exigentes, incluidos los modelos de lenguaje grandes (LLM), los modelos multimodales, los transformadores de difusión y más para crear un amplio conjunto de aplicaciones de IA. Para reducir los tiempos de entrenamiento y ofrecer tiempos de respuesta innovadores (latencia por token) para los modelos más vanguardistas y capaces, es posible que necesite más computación y memoria de lo que puede ofrecer una sola instancia. Los UltraServers Trn2 son una oferta de EC2 completamente nueva que utiliza NeuronLink, una estructura de gran ancho de banda y baja latencia, para conectar 64 chips Trainium2 en 4 instancias Trn2 en un nodo, lo que permite un rendimiento sin igual. Para la inferencia, los UltraServers ayudan a ofrecer los tiempos de respuesta más cortos del sector a fin de crear las mejores experiencias en tiempo real. En cuanto a la formación, los UltraServers aumentan la velocidad y la eficiencia del entrenamiento de modelos con una comunicación colectiva más rápida para lograr el paralelismo de los modelos en comparación con las instancias independientes.
Las instancias Trn2 cuentan con 16 chips Trainium2 para ofrecer hasta 20,8 petaflops de procesamiento FP8, 1,5 TB de memoria de alto ancho de banda con 46 TB/s de ancho de banda de memoria y 3,2 Tbps de redes EFA. Los UltraServer Trn2 cuentan con 64 chips Trainium2 para ofrecer hasta 83,2 petaflops de computación FP8, 6 TB de memoria total de alto ancho de banda con 185 TB/s de ancho de banda total de memoria y 12,8 Tbps de red EFA. Ambos se implementan en UltraClusters de EC2 para ofrecer capacidades de petabits de escalado horizontal sin bloqueos para el entrenamiento distribuido. Las instancias Trn2 suelen estar disponibles con un tamaño de 2,48 veces más grande en la región de AWS Este de EE. UU. (Ohio) a través de los bloques de capacidad de EC2 para ML.
Para obtener más información sobre las instancias Trn2 y solicitar acceso a los UltraServer Trn2, visite la página de las instancias Trn2.