Amazon SageMaker HyperPod hiện hỗ trợ tính năng tự động điều chỉnh quy mô bằng Karpenter
Amazon SageMaker HyperPod hiện đã hỗ trợ tính năng tự động điều chỉnh quy mô nút được quản lý bằng Karpenter, cho phép khách hàng tự động điều chỉnh quy mô cụm để đáp ứng nhu cầu suy luận và huấn luyện linh động. Khối lượng công việc suy luận theo thời gian thực yêu cầu tự động điều chỉnh quy mô để xử lý các mô hình lưu lượng khó dự đoán và duy trì các thỏa thuận mức dịch vụ, đồng thời tối ưu hóa chi phí. Tuy nhiên, các tổ chức thường gặp khó khăn với chi phí vận hành khi phải cài đặt, cấu hình và duy trì các giải pháp tự động điều chỉnh quy mô phức tạp. Tính năng tự động điều chỉnh quy mô nút do HyperPod quản lý giúp loại bỏ khối lượng công việc nặng nề và không tạo khác biệt trong việc thiết lập và bảo trì Karpenter, đồng thời mang lại khả năng phục hồi tích hợp và khả năng chịu lỗi.
Tính năng tự động điều chỉnh quy mô trên HyperPod bằng Karpenter cho phép khách hàng cung cấp đúng thời điểm, nhanh chóng điều chỉnh công suất tính toán GPU để xử lý các đợt tăng đột biến lưu lượng suy luận. Khách hàng có thể điều chỉnh quy mô về 0 nút trong các giai đoạn nhu cầu thấp mà không cần duy trì cơ sở hạ tầng bộ điều khiển chuyên dụng, đồng thời tận dụng cơ chế lựa chọn nút dựa trên khối lượng công việc để tối ưu hóa loại phiên bản và chi phí. Đối với các khối lượng công việc suy luận, tính năng này mang lại khả năng tự động điều chỉnh quy mô dung lượng để xử lý những đợt tăng lưu lượng trong môi trường sản xuất, giảm chi phí nhờ hợp nhất nút thông minh trong thời gian nhàn rỗi và tích hợp liền mạch với các công cụ tự động điều chỉnh quy mô pod theo sự kiện như KEDA. Khối lượng công việc huấn luyện cũng tận dụng quy trình tối ưu hóa tài nguyên tự động trong vòng đời phát triển mô hình. Bạn có thể bật tính năng tự động điều chỉnh quy mô trên HyperPod bằng API UpdateCluster với chế độ AutoScaling được đặt thành “Bật” và AutoScalerType được đặt thành “Karpenter”.
Tính năng này được cung cấp tại tất cả Khu vực AWS có hỗ trợ cụm Amazon SageMaker HyperPod EKS. Để tìm hiểu thêm về tính năng tự động điều chỉnh quy mô trên SageMaker HyperPod với Karpenter, hãy xem hướng dẫn sử dụng và blog.