Amazon ECS hiện hỗ trợ lập lịch GPU phân đoạn với các phiên bản Amazon EC2 G6f
Amazon Elastic Container Service (Amazon ECS) hiện hỗ trợ lập lịch GPU phân đoạn với các phiên bản Amazon EC2 G6f, cho phép bạn chạy khối lượng công việc của mình trên các phân vùng GPU nhỏ bằng 1/8 GPU NVIDIA L4 Tensor Core với bộ nhớ GPU 3 GB. GPU phân đoạn cung cấp cho bạn tính linh hoạt trong việc định chỉnh quy mô bộ chứa của mình cho suy luận AI mô hình nhỏ, thử nghiệm mô hình, kết xuất đồ họa và các khối lượng công việc khác không yêu cầu GPU đầy đủ, giúp giảm chi phí cơ sở hạ tầng so với việc cung cấp phiên bản GPU đầy đủ.
Bạn có thể yêu cầu GPU phân đoạn bằng cách đặt GPU = 0,125, GPU = 0,25 hoặc GPU = 0,5 trong định nghĩa bộ chứa của định nghĩa tác vụ Amazon ECS. Sau đó, Amazon ECS đặt tác vụ trên phiên bản G6f đáp ứng yêu cầu. Cấu hình GPU phân đoạn được hỗ trợ trên cả Phiên bản được quản lý Amazon ECS và Amazon ECS trên EC2. Với Phiên bản được quản lý ECS, bạn có được trải nghiệm được quản lý hoàn toàn, trong đó ECS tự động xử lý việc cung cấp phiên bản, điều chỉnh quy mô, vá lỗi và quản lý vòng đời, do đó bạn có thể tập trung vào khối lượng công việc GPU thay vì hoạt động cơ sở hạ tầng. Phiên bản được quản lý ECS cũng bao gồm các khả năng được xây dựng riêng cho các khối lượng công việc tăng tốc, chẳng hạn như chỉ số GPU thông qua Thông tin chuyên sâu về bộ chứa của Amazon CloudWatch và giám sát tình trạng tự động giúp phát hiện lỗi phần cứng liên quan đến GPU và thay thế các phiên bản không hoạt động bình thường để giảm thiểu gián đoạn khối lượng công việc.
Khả năng này được cung cấp ở tất cả các Khu vực AWS có phiên bản Amazon EC2 G6f. Để bắt đầu, hãy sử dụng Bảng điều khiển quản lý AWS, AWS CLI, SDK AWS, AWS CloudFormation hoặc các công cụ cơ sở hạ tầng dưới dạng mã khác để cấu hình nhà cung cấp dung lượng với các phiên bản G6f và chỉ định giá trị GPU phân đoạn trong định nghĩa bộ chứa của định nghĩa tác vụ ECS của bạn. Để tìm hiểu thêm, hãy truy cập tài liệu về GPU phân đoạn Amazon ECS và trang phiên bản Amazon EC2 G6.