Общедоступность инстансов Amazon EC2 Trn2
Сегодня AWS объявляет о всеобщей доступности инстансов Trn2 в Amazon Elastic Compute Cloud (Amazon EC2) и выходе ознакомительной версии серверов Trn2 UltraServer на базе чипов AWS Trainium2. Инстансы Trn2 и серверы UltraServer, доступные в блоках ресурсов EC2, – это самые производительные вычислительные решения EC2 для глубокого обучения, обучения генеративного искусственного интеллекта и получения логических выводов.
Инстансы Trn2 можно использовать для обучения и развертывания самых требовательных к ресурсам базовых моделей, включая большие языковые модели (LLM), мультимодальные модели, диффузионные модели с трансформерами и многое другое, для создания целого ряда приложений искусственного интеллекта. Чтобы сократить время обучения и обеспечить рекордное время отклика (задержка на каждый токен) для самых производительных современных моделей, может потребоваться больше вычислительных ресурсов и памяти, чем может предоставить один экземпляр. Trn2 UltraServer – это совершенно новое предложение EC2, в котором 64 чипа Trainium2 из четырех инстансов Trn2 соединяются в один узел с помощью сети NeuronLink с высокой пропускной способностью и малой задержкой, обеспечивая непревзойденную производительность. Для задач получения логических выводов серверы UltraServer обеспечивают одно из лучших в отрасли время отклика, что позволяет создавать наилучшие интерфейсы для работы в реальном времени. С точки зрения обучения моделей, серверы UltraServer повышают скорость и эффективность этого процесса за счет более быстрого обмена данными между инстансами для обеспечения параллелизма моделей, чем при использовании отдельных инстансов.
Инстансы Trn2 оснащаются 16 чипами Trainium2, обеспечивающими до 20,8 петафлопса для вычислений FP8, 1,5 ТБ памяти с высокой пропускной способностью 46 Тбит/с и сетью EFA с пропускной способностью 3,2 Тбит/с. Серверы Trn2 UltraServer оснащаются 64 чипами Trainium2, обеспечивающими до 83,2 петафлопса для вычислений FP8, всего 6 ТБ памяти с высокой пропускной способностью 185 ТБ/с и сетью EFA с пропускной способностью 12,8 Тбит/с. Обе конфигурации развертываются в кластерах EC2 UltraCluster и обеспечивают неблокирующее петабитное горизонтальное масштабирование для распределенного обучения. Инстансы Trn2 теперь общедоступны в регионе AWS Восток США (Огайо) с размером trn2.48xlarge в блоках ресурсов EC2 для машинного обучения.
Узнать больше об инстансах Trn2 и запросить доступ к Trn2 UltraServer можно на странице инстансов Trn2.