AWS Neuron 2.30.0 теперь поддерживает NKI 0.4.0 и 22 новых ядра библиотеки NKI
Сегодня AWS представляет общедоступную версию AWS Neuron 2.30.0, в которой мы реализовали NKI 0.4.0 с новыми аппаратными возможностями, специфичными для AWS Trainium3, 22 новыми ядрами библиотеки NKI и Neuron Agentic Development с расширенными навыками разработки, что позволяет портировать и проверять модели. Этот выпуск предназначен для разработчиков систем машинного обучения, которые создают собственные ядра, оптимизируют рабочие нагрузки обучения и логического вывода или портируют модели на AWS Trainium и Inferentia.
В NKI 0.4.0 реализованы инструкция activate2 Scalar Engine для Trn3, поддержка ввода OCP FP8 для умножения матриц и константы размера тайлов с учетом количества байтов, упрощающие разработку ядра. Библиотека NKI добавляет 3 новых ядра для алгоритма сегментированного внимания, предварительного заполнения кэша ключей и значений, квантования FP8, а также 19 экспериментальных ядер, которые обеспечивают реализацию параллелизма контекста, обучения MXFP8, моделей пространства состояний и встроенных оптимизаторов. Эталонные реализации PyTorch теперь доступны для 29 ядер.
На платформе Neuron Agentic Development, бета-версия которой была запущена в апреле 2026 года, внедрены два новых навыка: neuron-framework-autoport для сквозного переноса моделей HuggingFace в NxD Inference и neuron-framework-equivalence для проверки числовой эквивалентности портированных моделей. По умолчанию оба варианта теперь включены во все контейнеры Neuron DLAMI и Deep Learning. В этом выпуске также представлен драйвер Neuron DRA для динамического распределения ресурсов Kubernetes, позволяющий создавать расписание работы ускорителей Trainium и интерфейсов Elastic Fabric Adapter (EFA) с учетом топологии. В компиляторе Neuron Graph внесены значительные усовершенствования в элемент compile-time, а движок Neuron Runtime по умолчанию обеспечивает передачу данных на хост-устройство без копирования.
AWS Neuron предлагается во всех регионах AWS, где доступны инстансы Amazon EC2 Trn1, Trn2, Inf2 и Inf1. Дополнительные сведения о доступности по регионам см. в таблице регионов AWS.
Чтобы начать работу, ознакомьтесь со следующими ресурсами.