AWS Neuron представляет общедоступную версию NxD Inference, новые функции и улучшенные инструменты
Сегодня AWS объявляет о выпуске версии Neuron 2.23, включающей улучшения для логического вывода, возможностей обучения и инструментов разработчика. В этом релизе сделана общедоступной библиотека NxD Inference (NxDI), представлены новые возможности обучения, включая контекстный параллелизм и ORPO, а также добавлена поддержка PyTorch 2.6 и JAX 0.5.3.
Библиотека NxD Inference переведена из бета-версии в общедоступную, и теперь она рекомендуется для всех вариантов логического вывода на базе множества чипов. Ключевые улучшения включают поддержку постоянного кэша для сокращения времени компиляции и оптимизацию времени загрузки моделей.
Для рабочих нагрузок обучения в библиотеке NxD Training реализована поддержка контекстного параллелизма (бета-версия) для моделей Llama с последовательностями длиной до 32 тыс. токенов. В выпуске добавлена поддержка согласования моделей с использованием ORPO и наборов данных в стиле DPO, а также улучшена поддержка сторонних библиотек, в частности PyTorch Lightning 2.5, Transformers 4.48 и NeMo 2.1.
В нейронном интерфейсе Kernel (NKI) представлены новые 32-разрядные целочисленные операции, улучшенные функции ISA для Trainium2 и новые API-интерфейсы для настройки производительности. Neuron Profiler теперь обеспечивает в 5 раз более быстрый просмотр результатов профилирования, отслеживание ошибок на временной шкале и улучшенную визуализацию множества процессов с использованием Perfetto.
Пакет SDK AWS Neuron поддерживает обучение и развертывание моделей на инстансах Trn1, Trn2 и Inf2, доступных в регионах AWS в виде инстансов по требованию, зарезервированных инстансов, спотовых инстансов или в рамках плана экономии.
Полный список новых функций и улучшений в Neuron 2.23 и сведения о начале работы с Neuron см. в следующих разделах.