AWS Neuron 2.31.0 теперь доступен с NKI 0.5.0 и оператором UltraServer
Теперь доступна версия AWS Neuron 2.31.0, в которой представлена версия NKI 0.5.0 с поддержкой нового типа данных MX FP8 scale, тензорной косвенностью вычислительных операций для уменьшения количества инструкций в индексированных шаблонах доступа и новыми API-интерфейсами NKITensor view для преобразований тензорных макетов с нулевой стоимостью. В этом выпуске также представлена общедоступная бета-версия Neuron UltraServer Operator для Amazon EKS, автоматизирующая обнаружение UltraServer, распределение рабочих нагрузок и генерирование заявок на ресурсы для рабочих нагрузок Trainium UltraServer в Amazon EKS.
Компилятор Neuron включает переработанный внутренний сервер генерации кода, который теперь включен по умолчанию на Trn2 и Trn3, что обеспечивает повышенную производительность. Среда выполнения Neuron обеспечивает непрерывную поддержку общих локальных рабочих областей памяти, упрощая настройку устройства за счет устранения необходимости вручную задавать размеры страниц таких областей памяти. В библиотеку NKI добавлено 14 новых экспериментальных ядер, охватывающих коллективные операции для обучения моделей типа MoE, деформируемое внимание (deformable attention), проекцию DeepSeek MLA и кольцевое внимание (ring attention), а также эталонные реализации PyTorch. В Neuron Explorer добавлена ссылка на исходный код System Trace Viewer и обновлена группировка по умолчанию для улучшения отладки рабочих нагрузок.
Чтобы начать работу, ознакомьтесь со следующими ресурсами.
AWS Neuron предлагается во всех регионах AWS, в которых доступны инстансы Amazon EC2 Trn1, Trn2, Trn3, Inf2, Inf2 и Inf1. Дополнительные сведения о доступности по регионам см. в таблице регионов AWS.