Представляем инстансы Amazon EC2 Trn3 UltraServers для более быстрого и экономичного обучения генеративного ИИ
AWS объявляет о всеобщей доступности серверов Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers на базе нашего искусственного интеллекта четвертого поколения Trainium3, нашего первого 3-нанометрового чипа AWS AI, специально созданного для обеспечения максимальной экономичности токенов для приложений нового поколения, занимающихся агентированием, анализом и генерацией видео.
Каждый чип AWS Trainium3 обеспечивает 2,52 петафлопса вычислений FP8, увеличивает объем памяти в 1,5 раза, пропускную способность по сравнению с Trainium2 в 1,7 раза (до 144 ГБ памяти) HBM3e и пропускную способность памяти 4,9 ТБ/с. Чип Trainium3 предназначен как для рабочих нагрузок с dense-архитектурой, так и с методом expert-parallel, поддерживая сложные типы данных (MXFP8 и MXFP4) и более оптимальное соотношение между памятью и вычислительными ресурсами для задач реального времени, мультимодальных задач и рассуждений.
Инстансы Trn3 UltraServers можно вертикально масштабировать до 144 чипов Trainium3 (совокупно 362 PFLOPS PFP8), а в EC2 UltraClusters 3.0 доступно масштабирование до сотен тысяч чипов. Полностью настроенный инстанс Trn3 UltraServers поддерживает до 20,7 ТБ памяти HBM3e и совокупную пропускную способность памяти в 706 ТБ/с. Инстансы Trn3 UltraServers нового поколения используют матрицу NeuronSwitch-V1, которая соединяет все чипы с удвоенной полосой пропускания по сравнению с Trn2 UltraServers.
Trn3 обеспечивают в 4,4 раза большую производительность, в 3,9 раза большую пропускную способность памяти и в 4 раза больший КПД на ватт мощности по сравнению с нашими инстансами Trn2 UltraServers. Таким образом, они предлагают лучшее соотношение цены и качества при обучении и эксплуатации моделей передового масштаба, включая обучение с подкреплением, архитектуру «смесь экспертов» (Mixture-of-Experts, MoE), рассуждения и архитектуры с большим объемом контекста. В сервисе Amazon Bedrock чип Trainium3 – наш самый быстрый ускоритель с втрое большей производительностью по сравнению с Trainium2 и выдачей в пять раз большего количества выходных токенов на мегаватт мощности при сохранении того же уровня задержки для каждого пользователя.
Новые инстансы Trn3 UltraServers созданы для исследователей искусственного интеллекта и работают на базе пакета SDK AWS Neuron, обеспечивая беспрецедентную эффективность. Благодаря полной интеграции с PyTorch разработчики могут обучать и развертывать модели, не изменяя в них ни единой строки кода. Инженерам по производительности ИИ предоставляется более глубокий доступ к Trainium3, чтобы они могли дополнительно настраивать ядра и производительность для еще лучшей работы моделей. Поскольку для инноваций важен открытый обмен знаниями, мы стремимся взаимодействовать с разработчиками посредством инструментов и ресурсов с открытым исходным кодом.