В AWS Neuron 2.32 вводятся расширенное программирование NKI, ядра обучения MXFP8 и коллективные операции переменного размера для Trn2 и Trn
Вышла версия AWS Neuron 2.32.0, в которой представлены интерфейс NKI 0.6.0 с аппаратной инструкцией Top-K, операция all-gather переменной длины для ядер, ранги которых содержат тензоры разного размера, и новые конструкции циклов для итераций, зависящих от данных.
Кроме того, в этом выпуске появилось 13 новых ядер библиотеки NKI для использования архитектуры обучения «Смесь экспертов» (Mixture of Experts, MoE) и механизма разреженного внимания, а также новый навык Neuron Agentic Development, позволяющий переносить модели трансформеров в плагин vLLM Neuron. Ядра библиотеки NKI включают контекстное кодирование для механизма разреженного многопутевого скрытого внимания DeepSeek-V3.2, механизм внимания MXFP8 для этапа декодирования и соответствующее прямое и обратное преобразование MXFP8, которое позволяет блочным слоям MoE полностью обучаться в MXFP8. Также имеются эталонные реализации PyTorch для 22 дополнительных ядер.
В среду выполнения Neuron добавлены коллективные операции all-gather, reduce-scatter и all-to-all переменного размера на Trn2 и Trn3, что позволяет каждому рангу вносить или принимать различное количество элементов. Плагин vLLM Neuron переходит на vLLM 0.24.0 и включен во все AMI нейронного глубокого обучения и контейнеры глубокого обучения. В компилятор Neuron добавлен явный контроль над 64-битной целочисленной компиляцией, а в обозреватель Neuron – сведения о загрузке каждого ядра ЦП хоста в средстве просмотра трассировки системы.
AWS Neuron предлагается во всех регионах AWS, в которых доступны инстансы Amazon EC2 Trn1, Trn2, Trn3, Inf2, Inf2 и Inf1. Дополнительные сведения о доступности по регионам см. в таблице регионов AWS.
Чтобы начать работу, ознакомьтесь со следующими ресурсами.