- Продукт›
- Machine Learning›
- AWS Trainium
AWS Trainium
Trainium3, наш первый 3-нм чип AWS для искусственного интеллекта, специально созданный для обеспечения максимальной экономичности токенов для приложений нового поколения, занимающихся агентированием, логикой и генерацией видео
Почему стоит использовать Trainium?
AWS Trainium — это семейство специализированных ускорителей искусственного интеллекта Trn1, Trn2 и Trn3, разработанных для обеспечения масштабируемой производительности и экономичности обучения и вывода выводов в широком спектре генерирующих рабочих нагрузок искусственного интеллекта.
Семейство AWS Trainium
Тренажер 1
Чип AWS Trainium первого поколения поддерживает инстансы Amazon Elastic Compute Cloud (Amazon EC2) Trn1, стоимость обучения которых на 50 % ниже, чем у сопоставимых инстансов Amazon EC2. Многие клиенты, в том числе Ricoh, Karakuri, SplashMusic и Arcee AI, осознают преимущества инстансов Trn1 в производительности и стоимости.
Тренажер 2
Чип AWS Trainium2 обеспечивает в 4 раза большую производительность по сравнению с Trainium первого поколения. Инстансы Amazon EC2 Trn2 на базе Trainium2 и Trn2 UltraServers специально созданы для генеративного искусственного интеллекта и предлагают на 30-40% лучшую ценовую производительность по сравнению с инстансами EC2 P5e и P5en на базе графических процессоров. В инстансах Trn2 установлено до 16 микросхем Trainium2, а в Trn2 UltraServers — до 64 микросхем Trainium2, соединенных с помощью NeuronLink, нашего запатентованного межчипового соединения. Инстансы Trn2 и UltraServers можно использовать для обучения и развертывания самых требовательных моделей, включая модели большого языка (LLM), мультимодальные модели и диффузионные преобразователи, для создания широкого набора генерирующих приложений искусственного интеллекта нового поколения.
Тренажер 3
Серверы Trn3 UltraServers на базе нашего чипа искусственного интеллекта четвертого поколения AWS Trainium3 — первого чипа AWS для искусственного интеллекта размером 3 нм — специально разработаны для обеспечения максимальной экономичности токенов для приложений нового поколения, занимающихся агентами, анализом и генерацией видео. Trn3 UltraServers обеспечивают в 4,4 раза более высокую производительность, в 3,9 раза большую пропускную способность памяти и более чем в 4 раза лучшую энергоэффективность по сравнению с Trn2 UltraServers, обеспечивая лучшее соотношение цены и качества при обучении и обслуживании моделей пограничного масштаба, включая обучение с подкреплением, сочетание экспертов (MoE), логику и многоконтекстные архитектуры.
Каждый чип AWS Trainium3 обеспечивает 2,52 петафлопс (петафлопс) вычислений FP8, увеличивает объем памяти в 1,5 раза и полосу пропускания в 1,7 раза по сравнению с Trainium2, до 144 ГБ памяти HBM3e и 4,9 ТБ/с. Trainium3 предназначен как для плотных, так и для параллельных экспертных рабочих нагрузок с использованием передовых типов данных (MXFP8 и MXFP4) и улучшенного преобразования памяти в вычисления баланс для задач в реальном времени, мультимодальных и аргументированных задач.
В Amazon Bedrock Trainium3 — самый быстрый ускоритель, обеспечивающий в 3 раза более высокую производительность по сравнению с Trainium2 и в 3 раза лучшую энергоэффективность по сравнению с любым другим ускорителем сервиса. В крупномасштабных сервисных тестах (например, GPT-OSS) Trn3 обеспечивает более чем в 5 раз большую выходную мощность токенов на мегаватт, чем Trn2, при аналогичной задержке на пользователя, что обеспечивает более устойчивый и более высокий уровень производительности при масштабировании.
Создано для разработчиков
Новые инстансы на базе Trainium3 созданы для исследователей искусственного интеллекта и работают на базе AWS Neuron SDK для разблокировки
прорывная производительность.
Благодаря встроенной интеграции с PyTorch разработчики могут обучать и развертывать приложения, не изменяя ни строчки кода. Для искусственного интеллекта
инженеры по производительности, мы предоставили более глубокий доступ к Trainium3, чтобы разработчики могли точно настраивать производительность,
настраивайте ядра и продвигайте свои модели еще дальше. Поскольку инновации способствуют открытости, мы преданны делу
к взаимодействию с нашими разработчиками с помощью инструментов и ресурсов с открытым исходным кодом.
Чтобы узнать больше, посетите инстансы Amazon EC2 Trn3, изучите AWS Neuron SDK или оформите предварительный доступ.
Преимущества
В серверах Trn3 UltraServer реализованы последние инновации в масштабируемой технологии UltraServer, а NeuronSwitch-V1 для
более быстрые коллективы по принципу «все на всех» на 144 чипах Trainium3. В совокупности один Trn3 UltraServer обеспечивает
до 20,7 Тбайт HBM3e, пропускная способность памяти 706 ТБ/с и 362 пефлопс FP8, что позволяет увеличить производительность до 4,4 раза
производительность и энергоэффективность более чем в 4 раза выше, чем у Trn2 UltraServers. Trn3 обеспечивает самый высокий уровень
производительность при минимальных затратах на обучение и создание логических выводов благодаря новейшим моделям MoE и reasoningtype с параметрами 1T+, а также значительно более высокая пропускная способность масштабируемого обслуживания GPT-OSS по сравнению с Trainium2-
основанные на них экземпляры.
Trn2 UltraServers остаются высокопроизводительным и экономичным вариантом для генеративного обучения ИИ и вывода
модели с параметрами до 1T. В инстансах Trn2 установлено до 16 микросхем Trainium2, а в экземплярах Trn2 UltraServers
до 64 микросхем Trainium2, подключенных к NeuronLink, запатентованному межчиповому соединению.
Инстансы Trn1 оснащены до 16 чипами Trainium и обеспечивают скорость до 3 PFLOPS, 512 Гбайт памяти HBM со скоростью 9,8 ТБ/с
пропускная способность памяти и пропускная способность сети EFA до 1,6 Тбит/с.
Создан для исследований и экспериментов
AWS Neuron SDK помогает извлечь максимальную производительность из инстансов Trn3, Trn2 и Trn1, чтобы вы могли сосредоточиться на создании и развертывании моделей и ускорении выхода на рынок. AWS Neuron изначально интегрируется с PyTorch Jax и такими важными библиотеками, как Hugging Face, vLLM, PyTorch Lightning и другими. Сервис оптимизирует готовые модели для распределенного обучения и вывода, а также предоставляет глубокие аналитические данные для профилирования и отладки. AWS Neuron интегрируется с такими сервисами, как Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster и AWS Batch, а также со сторонними сервисами, такими как Ray (Anyscale), Domino Data Lab и Datadog.
Чтобы обеспечить высокую производительность при одновременном достижении целевых показателей точности, AWS Trainium поддерживает диапазон смешанной точности
типы данных, такие как BF16, FP16, FP8, MXFP8 и MXFP4. Чтобы поддержать быстрый темп инноваций в генеративном искусственном интеллекте,
Trainium2 и Trainium3 имеют аппаратную оптимизацию для обеспечения 4-кратной разреженности (16:4), микромасштабирования, стохастики
округление и специальные коллективные двигатели.
Neuron позволяет разработчикам оптимизировать рабочие нагрузки с помощью интерфейса ядра Neuron Kernel Interface (NKI) для разработки ядра. NKI предоставляет полную версию Trainium ISA, позволяющую полностью контролировать программирование на уровне команд, распределение памяти и планирование выполнения. Помимо создания собственных ядер, разработчики могут использовать библиотеку Neuron Kernel Library с открытым исходным кодом, готовую к развертыванию оптимизированных ядер. И наконец, Neuron Explore обеспечивает полную видимость стека, подключая код разработчиков вплоть до аппаратных движков.
Клиенты
Такие заказчики, как Databricks, Ricoh, Karakuri, SplashMusic и другие, осознают преимущества инстансов Trn1 в производительности и стоимости.
Такие заказчики, как Anthropic, Databricks, Poolside, Ricoh и NinjaTech AI, добились значительных преимуществ в производительности и стоимости инстансов Trn1 и Trn2.
Первые пользователи Trn3 достигают новых уровней эффективности и масштабируемости для нового поколения крупномасштабных генеративных моделей искусственного интеллекта.
