AWS Neuron thông báo hỗ trợ Phân bổ tài nguyên động với Amazon EKS
AWS công bố trình điều khiển Phân bổ tài nguyên động (DRA) Neuron cho Amazon Elastic Kubernetes Service (EKS), đưa tính năng lập lịch có tính đến phần cứng gốc Kubernetes cho các phiên bản dựa trên AWS Trainium. Trình điều khiển DRA Neuron phát hành các thuộc tính thiết bị phong phú trực tiếp đến trình lập lịch Kubernetes, cho phép đưa ra các quyết định về vị trí có tính đến cấu trúc liên kết mà không cần tiện ích mở rộng trình lập lịch tùy chỉnh.
Khi triển khai khối lượng công việc AI trên Kubernetes, các kỹ sư ML cần đưa ra quyết định về cơ sở hạ tầng không trực tiếp liên quan đến quá trình phát triển mô hình, chẳng hạn như xác định số lượng thiết bị, hiểu cấu trúc liên kết phần cứng và mạng, cũng như viết bản kê khai dành riêng cho trình tăng tốc. Điều này gây cản trở, làm chậm các lần lặp và gắn chặt khối lượng công việc vào cơ sở hạ tầng cơ bản. Khi các trường hợp sử dụng mở rộng sang đào tạo phân tán, suy luận ngữ cảnh dài và kiến trúc phân tách, sự phức tạp này trở thành nút thắt trong quá trình điều chỉnh quy mô.
Trình điều khiển DRA Neuron giúp loại bỏ gánh nặng này bằng cách tách rời mối quan ngại về cơ sở hạ tầng khỏi quy trình làm việc ML. Các đội ngũ cơ sở hạ tầng xác định ResourceClaimTemplates có thể tái sử dụng để nắm bắt cấu trúc liên kết, phân bổ và chính sách mạng của thiết bị. Các kỹ sư ML chỉ cần tham khảo các mẫu này trong bản kê khai mà không cần đưa ra lập luận về chi tiết phần cứng. Quá trình này cho phép triển khai nhất quán trên các loại khối lượng công việc, đồng thời cho phép cấu hình theo từng khối lượng công việc để nhiều khối lượng công việc có thể dùng chung một nút một cách hiệu quả.
Trình điều khiển DRA Neuron hỗ trợ tất cả các loại phiên bản AWS Trainium và được cung cấp ở tất cả các Khu vực AWS có AWS Trainium.
Để xem tài liệu, mẫu ví dụ và hướng dẫn triển khai, hãy truy cập tài liệu DRA Neuron.
Tìm hiểu thêm: