AWS Neuron 2.32 giới thiệu lập trình NKI mở rộng, nhân đào tạo MXFP8 và tập hợp có kích thước biến thiên cho Trn2 và Trn
AWS Neuron 2.32.0 hiện đã có sẵn, giới thiệu NKI 0.6.0 với lệnh top-K trên thiết bị, `all-gather` có độ dài biến thiên cho các nhân có thứ hạng chứa các tensor có kích thước khác nhau và cấu trúc vòng lặp mới dành cho các lần lặp phụ thuộc vào dữ liệu.
Bản phát hành này cũng giới thiệu 13 nhân Thư viện NKI mới để đào tạo Kết hợp các chuyên gia (MoE) và cơ chế chú ý dạng thưa, và kỹ năng Phát triển tác tử neuron mới sẽ chuyển các mô hình bộ chuyển đổi sang plugin vLLM Neuron. Nhân Thư viện NKI bao gồm mã hóa ngữ cảnh cho cơ chế chú ý tiềm ẩn nhiều đầu dạng thưa DeepSeek-V3.2, cơ chế chú ý MXFP8 cho bước giải mã cùng lượt chuyển xuôi ngược MXFP8 phù hợp cho phép các lớp MoE theo khối huấn luyện từ đầu đến cuối trong MXFP8, với các triển khai tham chiếu PyTorch cho 22 nhân bổ sung.
Thời gian hoạt động neuron bổ sung các tập hợp all-gather, reduce-scatter và all-to-all có kích thước biến thiên trên Trn2 và Trn3, cho phép mỗi thứ hạng đóng góp hoặc nhận một số lượng phần tử khác nhau. Plugin vLLM Neuron chuyển sang vLLM 0.24.0 và được bao gồm trong tất cả các AMI học sâu Neuron và Bộ chứa học sâu. Trình biên dịch Neuron bổ sung quyền kiểm soát rõ ràng đối với biên dịch số nguyên 64 bit và Trình khám phá Neuron bổ sung việc sử dụng CPU máy chủ mỗi lõi vào Trình xem truy vết hệ thống.
AWS Neuron được cung cấp ở tất cả các Khu vực AWS có các phiên bản Amazon EC2 Trn1, Trn2, Trn3, Inf2 và Inf1. Để biết thêm thông tin về tình trạng cung cấp theo Khu vực, hãy xem bảng Khu vực AWS.
Để bắt đầu, hãy tham khảo các tài nguyên sau: