AWS Neuron SDK 2.29.0 hiện đã có sẵn với NKI và Trình khám phá Neuron (Trình mô phỏng CPU mới) đã rời khỏi giai đoạn Beta và Thư viện NKI mở rộng
Ở bản phát hành này, AWS Neuron SDK 2.29.0 đưa Neuron Kernel Interface (NKI) từ bản Beta sang bản Ổn định với phiên bản 0.3.0. NKI cung cấp cho các nhà phát triển quyền truy cập qua lập trình cấp thấp trực tiếp vào NeuronCore của AWS Trainium và AWS Inferentia bằng cú pháp dựa trên Python. Bản phát hành này giới thiệu Thư viện tiêu chuẩn NKI, hiển thị mã nguồn mà nhà phát triển thấy được đối với tất cả các API NKI và các đối tượng ngôn ngữ gốc. Bản phát hành này cũng bao gồm một Trình mô phỏng CPU mới, giúp các nhà phát triển viết, kiểm thử và gỡ lỗi nhân NKI cục bộ trên CPU tiêu chuẩn, mà không yêu cầu phần cứng Trainium, bằng các công cụ gỡ lỗi Python tiêu chuẩn. NKI 0.3.0 cũng bổ sung các tính năng cấp ISA mới, bao gồm lệnh hàm mũ chuyên dụng, kiểm soát tích lũy phép nhân ma trận, cài đặt ưu tiên DMA cho Trn3 và thao tác tập thể giữa tất cả thành phần với độ dài thay đổi.
Thư viện NKI mở rộng với 7 nhân thử nghiệm mới, bao gồm Conv1D, một nhân cấp tạo token cho Bộ chuyển đổi nhiều lớp, các lệnh cơ bản hợp nhất giao tiếp và điện toán cho Trainium2, cũng như các hoạt động phân mảnh linh hoạt. Các nhân hiện có cũng được cải tiến. Attention CTE điều chỉnh quy mô theo kích thước lô và độ dài trình tự lớn hơn, MLP thêm các lộ trình lượng tử hóa có độ chính xác hỗn hợp và MoE TKG giới thiệu thuật toán toàn chuyên gia linh hoạt.
Để suy luận, NxD Inference cải thiện khả năng hỗ trợ mô hình ngôn ngữ thị giác với các điểm tối ưu hóa cho Qwen3 VL và Qwen2 VL, bao gồm khả năng chạy song song trình tự của mô hình văn bản và chạy song song dữ liệu thị giác. Plugin vLLM Neuron được cập nhật lên phiên bản 0.5.0.
Trình khám phá Neuron, bộ công cụ lập hồ sơ và gỡ lỗi của Neuron, cũng chuyển từ bản Beta sang bản Ổn định. Trình xem dấu vết hệ thống giờ đây hỗ trợ bộ widget Thiết bị đầy đủ để phân tích hồ sơ đa thiết bị và công cụ này có sẵn trên VS Code Extension Marketplace, giúp dễ dàng cài đặt. Để biết chi tiết đầy đủ về bản phát hành, hãy xem thông báo phát hành SDK AWS Neuron 2.29.0.
SDK này có sẵn ở tất cả các Khu vực AWS hỗ trợ phiên bản Inferentia và Trainium.
Tìm hiểu thêm: