Инстансы Amazon EC2 Trn2 и UltraServers

Инстансы Trn2 помогают сократить время обучения и предоставить конечным пользователям возможность получения логических выводов в реальном времени. Инстансы Trn2 оснащены 16 микросхемами Trainium2, соединенными с NeuronLink, нашим запатентованным межчиповым соединением, что обеспечивает вычислительную мощность до 20,8 петафлопс в режиме FP8. Инстансы Trn2 имеют общую емкость 1,5 ТБ HBM3 с пропускной способностью 46 терабайт в секунду (Тбит/с) и 3,2 терабита в секунду (Тбит/с) по сети Elastic Fabric Adapter (EFAv3). Серверы Trn2 UltraServers (доступны в предварительной версии) имеют 64 микросхемы Trainium2, подключенные к NeuronLink, и обеспечивают до 83,2 петафлопс вычислительных ресурсов FP8, 6 ТБ общей памяти с высокой пропускной способностью, 185 Тбит/с общей пропускной способности памяти и 12,8 Тбит/с по сети EFAv3.

Чтобы обеспечить эффективное распределенное обучение, инстансы Trn2 обеспечивают пропускную способность сети EFAv3 3,2 Тбит/с, а серверы Trn2 UltraServers – 12,8 Тбит/с. EFA построен на основе системы AWS Nitro, что означает, что все передаваемые через EFA данные шифруются без снижения производительности. EFA также использует сложный протокол маршрутизации трафика и контроля перегрузки, который позволяет надежно масштабироваться до сотен тысяч чипов Trainium2. Инстансы Trn2 и серверы UltraServers развертываются в EC2 UltraClusters, чтобы обеспечить масштабируемое распределенное обучение на десятках тысяч чипов Trainium в одной петабитной неблокирующей сети.

Инстансы Trn2 предлагают на 30-40% лучшую производительность по сравнению с инстансами EC2 P5e и P5en на базе графического процессора

Энергоэффективность инстансов Trn2 в 3 раза выше, чем у экземпляров Trn1. Эти инстансы и их базовые чипы используют передовые кремниевые технологии, а также аппаратные и программные оптимизации, которые позволяют добиться высокой энергоэффективности при масштабном выполнении задач генеративного ИИ.

AWS Neuron SDK помогает извлечь максимальную производительность из инстансов Trn2 и UltraServers. Neuron изначально интегрируется с JAX, PyTorch и такими важными библиотеками, как Hugging Face, PyTorch Lightning и другими. Neuron создан для исследователей и исследователей искусственного интеллекта, чтобы обеспечить рекордную производительность. Благодаря встроенной интеграции с PyTorch вы можете обучать и развертывать, не меняя ни одной строки кода. Для инженеров по производительности искусственного интеллекта мы предоставили более широкий доступ к Trainium 2, чтобы вы могли точно настроить производительность, настроить ядра и усовершенствовать свои модели. Благодаря Neuron можно применять инстансы Trn2 с такими сервисами, как Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster и Пакет AWS, а также со сторонними сервисами, такими как Ray (Anyscale), Domino Data Lab и Datadog. Поскольку инновации процветают благодаря открытости, Neuron стремится внедрять инновации с помощью открытого исходного кода и открытого сотрудничества с широким сообществом ИИ.

Инстансы Trn2 оснащены 16 чипами Trainium2, соединенными с NeuronLink и обеспечивающими вычислительную мощность до 20,8 петафлопс FP8. Trn2 UltraServers расширяют возможности подключения NeuronLink к 64 чипам Trainium2 на четырех инстансах Trn2, обеспечивая вычислительную мощность до 83,2 петафлопс FP8.

Инстансы Trn2 предоставляют 1,5 ТБ ускорительной памяти с общей пропускной способностью 46 Тбит/с. Trn2 UltraServers предлагают 6 ТБ общей ускорительной памяти с общей пропускной способностью 185 Тбит/с для поддержки сверхбольших базовых моделей.

Для поддержки масштабируемого распределенного обучения сверхбольших базовых моделей инстансы Trn2 обеспечивают пропускную способность сети EFAv3 3,2 Тбит/с, а серверы Trn2 UltraServers – 12,8 Тбит/с. В сочетании с EC2 UltraClusters EFAv3 обеспечивает меньшую сетевую задержку по сравнению с EFAv3. Каждый экземпляр Trn2 поддерживает до 8 ТБ, а каждый Trn2 UltraServer поддерживает до 32 ТБ локального хранилища NVMe для более быстрого доступа к большим наборам данных.

Инстансы Trn2 и серверы UltraServer поддерживают типы данных FP32, TF32, BF16, FP16 и настраиваемые типы данных FP8 (cFP8). Они также поддерживают передовые оптимизации ИИ, включая 4-кратную разреженность (16:4), стохастическое округление и специальные коллективные движки. Нейронный интерфейс Kernel (NKI) обеспечивает прямой доступ к архитектуре набора команд (ISA) с использованием среды на основе Python с интерфейсом, подобным Triton, что позволяет внедрять инновационные архитектуры моделей и высокооптимизированные вычислительные ядра, превосходящие существующие технологии.

Сервис Neuron совместим с более чем 100 000 моделями из Центра моделей Hugging Face, поддерживая их обучение и развертывание на Trn2, включая популярные архитектуры, такие как Llama и Stable Diffusion. Neuron изначально интегрируется с JAX, PyTorch и основными инструментами, фреймворками и библиотеками, такими как NeMo, Hugging Face, PyTorch Lightning, Ray, Domino Data Lab и Data Dog. Сервис оптимизирует готовые модели для распределенного обучения и вывода, а также предоставляет глубокие аналитические данные для профилирования и отладки. Neuron также интегрируется с такими сервисами, как Amazon SageMaker, Amazon EKS, Amazon ECS, AWS ParallelCluster и Пакет AWS.

Скоро появится поддержка инстансов Trn2 в SageMaker. Вы сможете легко обучать модели на инстансах Trn2, используя Amazon SageMaker HyperPod, который обеспечивает отказоустойчивый вычислительный кластер, оптимизированную производительность обучения и эффективное использование базовых вычислительных, сетевых ресурсов и ресурсов памяти. Вы также можете масштабировать развертывание модели на инстансах Trn2 с помощью SageMaker для более эффективного управления моделями в производственной среде и снижения эксплуатационной нагрузки.

Глубокое обучение AWS AMI (DLAMI) предоставляет специалистам по глубокому обучению и анализу данных инфраструктуру и инструменты для ускорения глубокого обучения на платформе AWS в любых масштабах. Драйверы AWS Neuron предварительно сконфигурированы в DLAMI для оптимального обучения моделей DL на инстансах Trn2.

Скоро появится поддержка контейнеров глубокого обучения для инстансов Trn2. Теперь, используя эти контейнеры, вы сможете развертывать инстансы Trn2 в Эластичном сервисе Amazon Kubernetes (Amazon EKS), полностью управляемом сервисе Kubernetes, и в Amazon Elastic Container Service (Amazon ECS), полностью управляемом сервисе оркестрации контейнеров. Кроме того, Neuron предварительно установлен в Контейнерах для глубокого обучения AWS. Дополнительные сведения о запуске контейнеров на инстансах Trn2 см. в руководствах по контейнерам Neuron.