Amazon ECS hiện hỗ trợ chia sẻ GPU với Dịch vụ đa tiến trình (MPS) của NVIDIA
Amazon Elastic Container Service (Amazon ECS) hiện hỗ trợ chia sẻ GPU với Dịch vụ đa tiến trình (MPS) của NVIDIA, cho phép bạn chạy đồng thời nhiều tác vụ Amazon ECS trên một GPU NVIDIA. Chia sẻ GPU giúp bạn tăng mức sử dụng GPU và giảm chi phí cơ sở hạ tầng cho khối lượng công việc chỉ sử dụng một phần dung lượng của GPU, chẳng hạn như suy luận mô hình nhỏ, mô phỏng AV/ADAS, tạo phần nhúng và phục vụ nhiều mô hình.
Với khả năng chia sẻ GPU, bạn có thể đóng gói nhiều khối lượng công việc hơn vào mỗi phiên bản GPU mà không cần thay đổi mã ứng dụng. Bạn sẽ xác định bộ nhớ GPU mà mỗi bộ chứa cần và có thể tùy chọn đặt tỷ lệ tối đa tài nguyên điện toán GPU được phép sử dụng và Amazon ECS sẽ đặt tác vụ trên GPU có dung lượng khả dụng khi dịch vụ của bạn điều chỉnh quy mô và triển khai. Chia sẻ GPU được hỗ trợ trên Phiên bản được quản lý Amazon ECS và Amazon ECS trên Amazon EC2. Trên Phiên bản được quản lý Amazon ECS, Amazon ECS cũng giám sát daemon kiểm soát MPS cho phép chia sẻ trên từng phiên bản. Nếu daemon ngừng hoạt động hoặc chuyển sang trạng thái hoạt động không bình thường, Amazon ECS sẽ tự động thay thế phiên bản và di chuyển tác vụ của bạn đến dung lượng còn hoạt động tốt. Do đó, khối lượng công việc GPU của bạn tiếp tục chạy mà không cần can thiệp thủ công.
Để bắt đầu, hãy sử dụng Bảng điều khiển quản lý AWS, AWS CLI, SDK AWS, AWS CloudFormation hoặc các công cụ cơ sở hạ tầng dưới dạng mã khác để tạo trình cung cấp dung lượng với các phiên bản GPU NVIDIA, đặt chiến lược chia sẻ GPU và bộ nhớ trong định nghĩa bộ chứa của định nghĩa tác vụ, đồng thời, tạo dịch vụ trên trình cung cấp dung lượng đó. Khả năng này có sẵn ở tất cả các Khu vực AWS thương mại và Khu vực AWS GovCloud (Hoa Kỳ). Để tìm hiểu thêm, hãy truy cập tài liệu về chia sẻ GPU Amazon ECS.