Представляем пакет AWS Neuron SDK 2.26.0
Сегодня AWS объявляет о выходе общедоступной версии Neuron SDK 2.26.0, в которой улучшены рабочие нагрузки глубокого обучения для инстансов на базе AWS Inferentia и Trainium. В этом выпуске представлена поддержка PyTorch 2.8 и JAX 0.6.2, а также расширенные возможности логического вывода на инстансах Trainium2 (Trn2). Данные обновления позволяют разработчикам использовать новейшие платформы, более гибкое развертывание моделей и средства оптимизации производительности.
Используя Neuron SDK 2.26.0, клиенты теперь могут развертывать модель генерации изображений FLUX.1-dev, а также варианты Llama 4 Scout и Maverick (в бета-версии) на инстансах Trn2. В этом выпуске представлена поддержка экспертного параллелизма (бета-версия) для эффективного распределения моделей на базе архитектуры Mixture-of-Experts («смешанные эксперты», MoE) между несколькими ядрами NeuronCore, а также добавлены новые возможности на основе новых API Нейронного интерфейса Kernel (NKI). Обновленный профилировщик Neuron Profiler предоставляет такие улучшенные возможности, как группировка системных профилей для распределенных рабочих нагрузок.
Новая версия SDK доступна во всех регионах AWS, поддерживающих инстансы Inferentia и Trainium. Она обеспечивает улучшенную производительность и возможности мониторинга для рабочих нагрузок машинного обучения.
Дополнительная информация, а также полный список новых функций и улучшений: