В AWS Neuron 2.33 добавлены встроенная поддержка PyTorch, Neuron Observer и другие новые функции
Стала доступна версия AWS Neuron 2.33, в которой представлена публичная бета-версия TorchNeuron, встроенного бэкенда PyTorch для AWS Trainium. Модели, написанные с использованием стандартных API PyTorch, можно запускать на инстансах Amazon EC2 Trn2 и Trn3 в режиме немедленного выполнения или с помощью torch.compile. В этом релизе также представлена публичная бета-версия инструмента Neuron Observer, который обнаруживает проблемы с работоспособностью Trainium менее чем за секунду и определяет затронутый узел или устройство.
Плагин vLLM Neuron обновлен до vLLM 0.29.0, а плагин vLLM Omni Neuron для генерации видео с помощью Wan2.2 теперь включен в релиз Neuron. Обе версии поддерживают встроенную компиляцию PyTorch посредством TorchNeuron. Новые компоненты Neuron Deep Learning AMI и Deep Learning Container для обучения PyTorch включают TorchNeuron, PyTorch 2.14 и TorchTitan. Neuron Explorer открывает профили, полученные с помощью torch.profiler. На основе снимка памяти PyTorch области памяти теперь соотносятся с выделившими их строкам исходного кода на Python, что обеспечивает отладку ошибок нехватки памяти в режиме немедленного выполнения.
Ядра, написанные с помощью Нейронного интерфейса Kernel (NKI), теперь могут использовать все возможности языка Python для метапрограммирования, включая генераторы и наследование классов. В Библиотеку NKI добавлено 25 новых экспериментальных ядер, включая ядра для DeepSeek-V3.2, Qwen3.5 и Kimi Delta Attention.
Чтобы начать работу, ознакомьтесь со следующими ресурсами.