AWS công bố TorchNeuron: Hỗ trợ PyTorch gốc cho AWS Trainium (phiên bản beta công khai)
Hôm nay, AWS đã ra mắt phiên bản beta công khai của TorchNeuron, một backend PyTorch gốc nguồn mở cho AWS Trainium. Trainium là một danh mục các chip AI được thiết kế để mang lại hiệu năng cao và hiệu quả chi phí cho khối lượng công việc suy luận và đào tạo AI học sâu. TorchNeuron cho phép các nhà khoa học và nhà nghiên cứu AI thử nghiệm và xây dựng các mô hình với PyTorch theo phương thức gốc trên Trainium.
Với TorchNeuron, nhà phát triển có thể kích hoạt mã PyTorch của họ trên Trainium chỉ bằng cách chuyển sang .to('neuron') trong khi vẫn duy trì khả năng tương thích PyTorch đầy đủ với eager execution, torch.compile và các API PyTorch tiêu chuẩn. Ngoài ra, TorchNeuron tích hợp với Neuron Kernel Interface (NKI) để cho phép các toán tử tùy chỉnh và tối ưu hóa hiệu năng cho phần cứng Trainium.
TorchNeuron có sẵn dưới dạng nguồn mở thông qua kho lưu trữ TorchNeuron github cho các phiên bản Amazon EC2 Trainium2 và phiên bản Amazon EC2 Trainium3.
Để tìm hiểu thêm về TorchNeuron và các bộ tăng tốc AWS Trainium, hãy truy cập trang AWS Neuron.