Пакет SDK AWS Neuron 2.29.0 теперь доступен вместе с NKI и Neuron Explorer, вышедшими из стадии бета-тестирования, новым симулятором процессора и расширенной библиотекой NKI
В этом обновлении пакет SDK AWS Neuron 2.29.0 переводит Нейронный интерфейс Kernel (NKI) из бета-версии в стабильную версию 0.3.0. NKI предоставляет разработчикам прямой низкоуровневый программный доступ к AWS Trainium и AWS Inferentia NeuronCores с использованием синтаксиса на основе Python. В этом выпуске представлена стандартная библиотека NKI, которая предоставляет видимый разработчику исходный код для всех API-интерфейсов NKI и объектов на родном языке. Он также содержит новый симулятор процессора, который позволяет разработчикам писать, тестировать и отлаживать ядра NKI локально на стандартном процессоре, не требуя аппаратного обеспечения Trainium, используя стандартные инструменты отладки Python. В NKI 0.3.0 также добавлены новые возможности на уровне ISA, включая отдельную инструкцию для вычисления экспоненты, управление аккумуляцией в матричном умножении (matmul), настройки приоритетов DMA для Trn3 и коллективные операции «все со всеми» переменной длины.
Библиотека NKI расширяется за счет 7 новых экспериментальных ядер, охватывающих Conv1D, многослойного мегаядра для генерации токенов в Transformer, объединенных примитивов коммуникации и вычислений для Trainium2, а также операций динамического тайлинга. Существующие ядра также получили улучшения. Attention CTE масштабируется до более крупных размеров пакетов и длины последовательностей, в MLP добавлены пути смешанной точности для квантования, а в MoE TKG введен динамический алгоритм выбора всех экспертов.
Для логического вывода в NxD Inference улучшена поддержка визуально-языковых моделей за счет оптимизации Qwen3 VL и Qwen2 VL, включая параллелизм последовательностей для текстовой части модели и параллелизм данных для обработки изображений. Плагин vLLM Neuron обновлен до версии 0.5.0.
Neuron Explorer, набор инструментов Neuron для профилирования и отладки, также переходит из бета-версии в стабильную. System Trace Viewer теперь поддерживает полный набор виджетов устройств для анализа профилей на нескольких устройствах. Инструмент доступен для упрощенной установки в каталоге VS Code Extension Marketplace. Полные сведения о выпуске см. в примечаниях к выпуску AWS Neuron SDK 2.29.0.
Пакет SDK доступен во всех регионах AWS, поддерживающих инстансы Inferentia и Trainium.
Подробнее: