Amazon EC2 UltraServers

Обучение искусственного интеллекта и формирование выводов при масштабировании

Почему Amazon EC2 UltraServers?

Amazon Elastic Compute Cloud (Amazon EC2) UltraServers идеально подходит для клиентов, которым нужна максимальная производительность обучения ИИ и построения логических выводов для моделей в масштабе триллионов параметров. UltraServers соединяет несколько инстансов EC2 с помощью выделенного соединения ускорителей с высокой пропускной способностью и малой задержкой, что позволяет применять тесно связанную сеть ускорителей между инстансами EC2 и получать доступ к значительно большему объему вычислительных ресурсов и памяти по сравнению с отдельными инстансами EC2.

Инстансы EC2 UltraServers идеально подходят для самых больших моделей, которым требуется больше памяти и ее пропускной способности по сравнению с отдельными инстансами EC2. Чтобы задействовать несколько инстансов к одному узлу, в конструкции UltraServer применяется подключение к ускорителю внутри инстанса. Такой подход открывает новые возможности. Для задач получения логических выводов инстансы UltraServers обеспечивают ведущее в отрасли время отклика и создание наилучших условий работы в режиме реального времени. Для задач обучения инстансы UltraServers повышают скорость и эффективность обучения модели благодаря более быстрой коллективной коммуникации для обеспечения параллелизма моделей по сравнению с отдельными инстансами. Инстансы EC2 UltraServers поддерживают сеть Интерфейса эластичной матрицы (EFA). При развертывании в EC2 инстансы UltraClusters обеспечивают масштабируемое распределенное обучение на десятках тысяч ускорителей в одной петабитной сети, которая не подвергается блокированию. Обеспечивая более высокую производительность обучения и логических выводов, инстансы UltraServers ускоряют вывод на рынок и помогает создавать приложения в режиме реального времени на основе самых производительных базовых моделей нового поколения.

Преимущества

Возможности

Поддерживаемые инстансы

Инстансы Trn2

Инстансы Trn2 на базе чипов AWS Trainium2 в конфигурации Trn2 UltraServer (доступны в предварительной версии) позволяют масштабировать до 64 чипов Trainium2, подключенных к NeuronLink, выделенному соединению с высокой пропускной способностью и малой задержкой для чипов искусственного интеллекта AWS. Инстансы Trn2 UltraServers обеспечивают революционную производительность в Amazon EC2 для обучения генеративного искусственного интеллекта и создания логических выводов.

Подробнее