Представляем пакет AWS Neuron SDK 2.27.0
Сегодня AWS анонсирует пакет Neuron SDK 2.27.0, в котором представлена поддержка Trainium3 UltraServer с расширенными компонентами на основе открытого исходного кода. Neuron также внедряет набор инструментов Neuron Explorer, улучшенный нейронный интерфейс Kernel (NKI) с NKI-компилятором на основе открытого исходного кода, построенным на платформе MLIR (закрытая бета-версия), библиотеку оптимизированных ядер NKI, встроенную поддержку PyTorch посредством TorchNeuron (закрытая бета-версия) и динамическое распределение ресурсов (DRA) Neuron для внутреннего управления ресурсами Kubernetes (закрытая бета-версия).
Эти обновления позволяют стандартным платформам работать на базе Trainium без каких-либо изменений, устраняя для исследователей любые препятствия к инновациям и экспериментам. Для разработчиков, которым необходим более полный контроль, усовершенствованный NKI-интерфейс (бета-версия 2) предоставит прямой доступ к оптимизации на аппаратном уровне, что позволит клиентам масштабировать рабочие нагрузки искусственного интеллекта с повышенной эффективностью. Если вам интересно получить ранний доступ к новым функциям и улучшениям NKI, вы можете присоединиться к программе закрытого бета-тестирования Neuron.
Новая версия SDK доступна во всех регионах AWS, поддерживающих инстансы Inferentia и Trainium. Она обеспечивает улучшенную производительность и возможности мониторинга для рабочих нагрузок машинного обучения.
См. следующие дополнительные сведения: