AWS Neuron hỗ trợ Trainium2 và NxD Inference
Hôm nay, AWS công bố bản phát hành Neuron 2.21, hỗ trợ chip AWS Trainium2 và các phiên bản Amazon EC2 Trn2, bao gồm loại phiên bản trn2.48xlarge và Trn2 UltraServer. Bản phát hành này cũng hỗ trợ thêm PyTorch 2.5 và ra mắt NxD Inference và Neuron Profiler 2.0 (beta). NxD Inference là thư viện mới dựa trên PyTorch được tích hợp với vLLM. NxD Inference giúp đơn giản hóa quá trình triển khai các mô hình ngôn ngữ lớn và đa phương thức, đồng thời cho phép tích hợp mô hình PyTorch với mức thay đổi mã tối thiểu. Neuron Profiler 2.0 (beta) là trình phân tích mới đã cải thiện các tính năng và khả năng sử dụng, bao gồm hỗ trợ cho các khối lượng công việc phân tán.
Neuron 2.21 cũng hỗ trợ khả năng suy luận mô hình Llama 3.1 405B bằng cách sử dụng NxD Inference trên một phiên bản trn2.48xlarge duy nhất. Bản phát hành này cập nhật Bộ chứa học sâu (DLC) và AMI học sâu (DLAMI), cũng như hỗ trợ thêm nhiều kiến trúc mô hình khác nhau, bao gồm các mô hình Llama 3.2, Llama 3.3 và Mixture-of-Experts (MoE). Các tính năng suy luận mới bao gồm lượng tử hóa trọng số FP8 và giải mã flash để giải mã suy đoán trong Transformers NeuronX (TNx). Ngoài ra, bản phát hành này cũng bao gồm các ví dụ đào tạo và tính năng mới, chẳng hạn như hỗ trợ HuggingFace Llama 3/3.1 70B trên phiên bản Trn2, đồng thời hỗ trợ DPO để căn chỉnh mô hình sau đào tạo.
AWS Neuron SDK hỗ trợ nhiệm vụ đào tạo và triển khai mô hình trên các phiên bản Trn1, Trn2 và Inf2. SDK này được cung cấp ở Khu vực AWS dưới dạng Phiên bản theo nhu cầu, Phiên bản đặt trước, Phiên bản dùng ngay hoặc trong Gói tiết kiệm.
Để biết danh sách đầy đủ các tính năng và điểm cải tiến mới trong Neuron 2.21 và bắt đầu sử dụng Neuron, hãy xem: