SageMaker HyperPod hiện hỗ trợ chia sẻ tài nguyên nhàn rỗi để vận dụng cụm linh hoạt
Tính năng quản trị nhiệm vụ của Amazon SageMaker HyperPod hiện hỗ trợ chia sẻ tài nguyên động, cho phép các nhóm "mượn" công suất điện toán chưa phân bổ trong các cụm HyperPod ngoài hạn mức được bảo đảm cho họ. Quản trị viên cũng có thể định cấu hình giới hạn mượn cho các loại tài nguyên cụ thể, chẳng hạn như trình tăng tốc, vCPU hoặc bộ nhớ, để bảo đảm sự phân phối thỏa đáng giữa các nhóm.
Quản trị viên vận hành các cụm điện toán dùng chung cho khối lượng công việc AI tạo sinh thường phải giải quyết bài toán sử dụng dưới mức. Khi các nhà khoa học dữ liệu không sử dụng hết hạn mức được phân bổ của họ, các phiên bản điện toán đắt tiền cũng đành chịu cảnh "bỏ xó". Khả năng chia sẻ tài nguyên nhàn rỗi sẽ giải quyết vấn đề này bằng cách tự động xác định công suất cụm chưa phân bổ và cấp cho các nhóm mượn trên cơ sở nỗ lực tốt nhất. Tính năng quản trị nhiệm vụ HyperPod giám sát trạng thái cụm của bạn và tự động tính toán lại lượng tài nguyên có thể mượn khi các phiên bản và chính sách hạn mức điện toán thay đổi, để bạn không phải định cấu hình thủ công. Các phiên bản đủ điều kiện, ở trạng thái sẵn sàng và có thể lên lịch, kể cả các phiên bản có cấu hình GPU được phân vùng, sẽ được đưa vào nhóm dung lượng điện toán chưa phân bổ có thể cho mượn. Quản trị viên cũng có thể xác định hai kiểu giới hạn mượn công suất điện toán nhàn rỗi: giá trị tuyệt đối và dựa trên phần trăm. Điều này giúp quản trị viên tăng tối đa mức sử dụng điện toán và duy trì quyền kiểm soát chi tiết đối với cách phân phối công suất nhàn rỗi giữa các nhóm, cũng như duy trì sự tách biệt hạn mức điện toán được bảo đảm cho mỗi nhóm.
Khả năng này hiện được cung cấp cho các cụm Amazon SageMaker HyperPod qua trình điều phối EKS ở các Khu vực AWS sau: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Bắc California), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Mumbai), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Sydney), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Jakarta), Châu Âu (Frankfurt), Châu Âu (Ireland), Châu Âu (London), Châu Âu (Stockholm), Châu Âu (Tây Ban Nha) và Nam Mỹ (São Paulo).
Để tìm hiểu thêm, hãy truy cập trang web SageMaker HyperPod và tài liệu về quản trị nhiệm vụ HyperPod.