AWS Neuron 2.33 bổ sung hỗ trợ PyTorch gốc, Neuron Observer và các tính năng mới khác
AWS Neuron 2.33 hiện đã có sẵn, giới thiệu TorchNeuron, backend PyTorch gốc cho AWS Trainium, trong phiên bản beta công khai. Bạn có thể chạy các mô hình được viết bằng API PyTorch tiêu chuẩn trên phiên bản Amazon EC2 Trn2 và Trn3, ở chế độ thực thi tức thời hoặc với torch.compile. Bản phát hành này cũng giới thiệu Neuron Observer trong phiên bản beta công khai, phát hiện các vấn đề tình trạng của Trainium trong vòng chưa đầy một giây và xác định nút hoặc thiết bị bị ảnh hưởng.
Plugin vLLM Neuron nâng cấp lên vLLM 0.29.0 và plugin vLLM Omni Neuron để tạo video Wan2.2 hiện là một phần của bản phát hành Neuron này. Cả hai đều hỗ trợ biên dịch PyTorch gốc thông qua TorchNeuron. AMI học sâu mới của Neuron và Bộ chứa học sâu cho đào tạo PyTorch bao gồm TorchNeuron, PyTorch 2.14 và TorchTitan. Neuron Explorer mở các hồ sơ hiệu năng được ghi lại bằng torch.profiler. Từ ảnh chụp nhanh bộ nhớ PyTorch, giờ đây công cụ này cấp phân bổ cho các dòng mã nguồn Python đã tạo ra các phân bổ đó, để gỡ lỗi hết bộ nhớ trong chế độ thực thi tức thời.
Các nhân được ghi bằng Neuron Kernel Interface (NKI) giờ đây có thể sử dụng ngôn ngữ Python đầy đủ để lập trình meta, bao gồm các trình tạo và kế thừa lớp. Thư viện NKI bổ sung 25 nhân thử nghiệm mới, bao gồm các nhân cho DeepSeek-V3.2, Qwen3.5 và Kimi Delta Attention.
Để bắt đầu, hãy tham khảo các tài nguyên sau: