AWS Neuron 2.31.0 hiện có sẵn với NKI 0.5.0 và UltraServer Operator
AWS Neuron 2.31.0 hiện đã có sẵn, giới thiệu NKI 0.5.0 với hỗ trợ dtype tỷ lệ MX FP8 mới, chuyển hướng gián tiếp tensor trên các hoạt động điện toán để giảm số lượng lệnh trong các mẫu truy cập được lập chỉ mục và API chế độ xem NkiTensor mới để chuyển đổi bố cục tensor với chi phí bằng không. Bản phát hành này cũng giới thiệu Neuron UltraServer Operator dành cho Amazon EKS trong phiên bản beta công khai, tự động hóa việc phát hiện UltraServer, phân bổ khối lượng công việc và tạo yêu cầu tài nguyên cho khối lượng công việc Trainium UltraServer trên Amazon EKS.
Trình biên dịch Neuron bao gồm một backend tạo mã được thiết kế lại hiện được bật theo mặc định trên Trn2 và Trn3, mang lại hiệu năng được cải thiện. Thời gian hoạt động Neuron bổ sung hỗ trợ scratchpad dùng chung liền mạch, đơn giản hóa cấu hình thiết bị bằng cách loại bỏ nhu cầu đặt kích thước trang scratchpad theo cách thủ công. Thư viện NKI bổ sung 14 nhân thử nghiệm mới bao gồm các tập hợp đào tạo MoE, chú ý có thể biến đổi, phép chiếu DeepSeek MLA và chú ý cấu trúc vòng, cùng với các triển khai tham chiếu PyTorch. Trình khám phá Neuron bổ sung khả năng liên kết mã nguồn Trình xem dấu vết hệ thống và cập nhật nhóm mặc định để cải thiện gỡ lỗi khối lượng công việc.
Để bắt đầu, hãy tham khảo các tài nguyên sau:
AWS Neuron được cung cấp ở tất cả các Khu vực AWS có các phiên bản Amazon EC2 Trn1, Trn2, Trn3, Inf2 và Inf1. Để biết thêm thông tin về tình trạng cung cấp theo Khu vực, hãy xem bảng Khu vực AWS.