AWS Neuron giới thiệu Neuron Kernel Interface (NKI), NxD Training và hỗ trợ JAX cho công việc đào tạo
Hôm nay, AWS công bố bản phát hành Neuron 2.20, giới thiệu Neuron Kernel Interface (NKI) (phiên bản beta), một giao diện lập trình dành cho AWS Trainium và Inferentia, cho phép nhà phát triển xây dựng nhân điện toán được tối ưu hóa cho các chức năng, cách tối ưu hóa và cải tiến khoa học mới. Ngoài ra, bản phát hành này còn giới thiệu NxD Training (phiên bản beta), một thư viện dựa trên PyTorch cho phép đào tạo phân tán hiệu quả, với giao diện thân thiện với người dùng và tương thích với NeMo. Bản phát hành này cũng giới thiệu tính năng hỗ trợ khung JAX (phiên bản beta).
AWS Neuron là SDK dành cho các phiên bản dựa trên AWS Inferentia và Trainium, được phát triển vì AI tạo sinh. Neuron tích hợp với các khung ML phổ biến như PyTorch. Ứng dụng này có trình biên dịch, thời gian hoạt động, các công cụ và thư viện để hỗ trợ đào tạo và suy luận hiệu suất cao cho các mô hình AI ở các phiên bản Trn1 và Inf2.
Bản phát hành này bổ sung các tính năng hỗ trợ và điểm cải tiến hiệu suất để đào tạo mô hình và suy luận. Đối với công việc đào tạo, bản phát hành này bổ sung các mô hình Llama 3.1 8B và 70B hỗ trợ độ dài chuỗi lên đến 32K, cùng với torch.autocast() để hỗ trợ độ chính xác hỗn hợp của PyTorch gốc và kỹ thuật PEFT LoRA. Đối với công việc suy luận, Neuron 2.20 hỗ trợ thêm các mô hình Llama 3.1 (405b, 70b, 8b) và Diffusion-Transformers (DiT) như Pixart-alpha và Pixart-sigma. Ngoài ra, bản phát hành này còn hỗ trợ suy luận với kỹ thuật lấy mẫu hạt nhân trên thiết bị và độ dài ngữ cảnh 128.000 với tính năng Giải mã Flash. Bản phát hành này cũng hỗ trợ thêm hệ điều hành Rocky 9.0, cũng như các toán tử RMSNorm và RMSNormDx trong Trình biên dịch Neuron.
Để biết thêm thông tin, hãy xem Ghi chú phát hành Neuron.