AWS Neuron 2.30.0 hiện có sẵn với NKI 0.4.0 và 22 nhân mới trong Thư viện NKI
Hôm nay, AWS công bố việc cung cấp rộng rãi AWS Neuron 2.30.0, cung cấp NKI 0.4.0 với các khả năng phần cứng cụ thể mới của AWS Trainium3, 22 nhân Thư viện NKI mới và các kỹ năng Phát triển tác tử Neuron mở rộng để chuyển và xác thực mô hình. Bản phát hành này dành cho các nhà phát triển ML xây dựng nhân tùy chỉnh, tối ưu hóa khối lượng công việc đào tạo và suy luận hoặc chuyển mô hình sang AWS Trainium và Inferentia.
NKI 0.4.0 giới thiệu lệnh activate2 Scalar Engine cho Trn3, hỗ trợ đầu vào OCP FP8 cho phép nhân ma trận và các hằng số kích thước lát có lưu ý số byte, giúp đơn giản hóa việc phát triển nhân. Thư viện NKI bổ sung 3 nhân lõi mới dành cho cơ chế chú ý phân đoạn, điền sẵn song song theo cơ chế khóa-giá trị (KV) và lượng tử hóa FP8, kèm theo đó là 19 nhân thử nghiệm bao gồm tính song song ngữ cảnh, đào tạo MXFP8, mô hình mô hình không gian trạng thái và trình tối ưu hóa hợp nhất. Các triển khai tham chiếu PyTorch hiện có sẵn cho 29 nhân.
Phát triển tác tử Neuron, được ra mắt dưới dạng bản beta vào tháng 4 năm 2026, bổ sung hai kỹ năng mới: neuron-framework-autoport để chuyển các mô hình HuggingFace sang NxD Inference từ đầu đến cuối và neuron-framework-equivalence để xác thực tính tương đương về mặt số học của các mô hình được chuyển. Theo mặc định, cả hai hiện được bao gồm trong tất cả AMI học sâu của AWS (DLAMI) Neuron và Bộ chứa học sâu. Bản phát hành này cũng giới thiệu Trình điều khiển DRA Neuron cho Phân bổ tài nguyên động Kubernetes, cho phép lập lịch có lưu ý cấu trúc liên kết của trình tăng tốc Trainium và giao diện Trình chuyển cấu trúc linh hoạt (EFA). Trình biên dịch biểu đồ Neuron hiện mang lại những cải thiện đáng kể về thời gian biên dịch và Thời gian chạy neuron cho phép truyền giữa máy chủ và thiết bị theo cơ chế không sao chép (zero-copy) theo mặc định.
AWS Neuron được cung cấp ở tất cả các Khu vực AWS có các phiên bản Amazon EC2 Trn1, Trn2, Inf2 và Inf1. Để biết thêm thông tin về tình trạng cung cấp theo Khu vực, hãy xem bảng Khu vực AWS.
Để bắt đầu, hãy tham khảo các tài nguyên sau: