AWS Trainium

Повышайте производительность глубокого обучения и обучения генеративного искусственного интеллекта, понижая затраты

Почему стоит использовать Trainium?

Чипы AWS Trainium – это семейство чипов искусственного интеллекта, специально разработанных AWS для обучения ИИ и получения логических выводов для обеспечения высокой производительности при одновременном снижении затрат.

Чип AWS Trainium первого поколения поддерживает инстансы Amazon Elastic Compute Cloud (Amazon EC2) Trn1, стоимость обучения которых на 50 % ниже, чем у сопоставимых инстансов Amazon EC2. Многие клиенты, включая Databricks, Ricoh, NinjaTech AI и Arcee AI, осознают преимущества инстансов Trn1 в производительности и стоимости.

Чип AWS Trainium2 обеспечивает в 4 раза большую производительность по сравнению с Trainium первого поколения. Инстансы Amazon EC2 Trn2 на базе Trainium2 специально созданы для генеративного искусственного интеллекта. Это самые мощные инстансы EC2 для обучения и развертывания моделей с параметрами от сотен миллиардов до триллионов. Инстансы Trn2 предлагают на 30–40 % лучшую производительность по сравнению с текущим поколением инстансов EC2 P5e и P5en на базе графических процессоров. Инстансы Trn2 оснащены 16 чипами Trainium2, соединенными с NeuronLink, нашим запатентованным межчиповым соединением. Инстансы Trn2 можно использовать для обучения и развертывания самых требовательных моделей, включая большие языковые модели (LLM), мультимодальные модели и диффузионные трансформеры, для создания широкого набора приложений генеративного искусственного интеллекта нового поколения. Trn2 UltraServers, совершенно новое предложение EC2 (доступно в предварительной версии), идеально подходит для самых крупных моделей, которым требуется больше памяти и ее пропускной способности, чем могут обеспечить отдельные инстансы EC2. В конструкции UltraServer используется NeuronLink для соединения 64 чипов Trainium2 в четырех инстансах Trn2 в один узел, что открывает новые возможности. Для задач получения логических выводов инстансы UltraServers обеспечивают ведущее в отрасли время отклика и создание наилучших условий работы в режиме реального времени. Для задач обучения инстансы UltraServers повышают скорость и эффективность обучения модели благодаря более быстрой коллективной коммуникации для обеспечения параллелизма моделей по сравнению с отдельными инстансами.

Вы можете начать обучение и развертывание моделей на инстансах Trn2 и Trn1 со встроенной поддержкой популярных платформ машинного обучения, таких как PyTorch и JAX.

Video Player is loading.
Current Time 0:00
Duration 1:24
Loaded: 0.00%
Stream Type LIVE
Remaining Time 1:24
 
1x
    • Chapters
    • descriptions off, selected

      Преимущества

      Видео

      Закулисный взгляд на инфраструктуру генеративного искусственного интеллекта в Amazon
      Ускорьте глубокое обучение и быстрее внедряйте инновации с помощью AWS Trainium
      Инстансы Amazon EC2 Trn1 на базе AWS Trainium

      Ресурсы