Amazon SageMaker HyperPod hiện đã hỗ trợ nhóm phiên bản linh hoạt
Amazon SageMaker HyperPod hiện đã hỗ trợ nhóm phiên bản linh hoạt, tạo điều kiện cho khách hàng chỉ định nhiều loại phiên bản và nhiều mạng con trong một nhóm phiên bản duy nhất. Khách hàng chạy khối lượng công việc đào tạo và suy luận trên HyperPod thường cần sử dụng dàn trải nhiều loại phiên bản và vùng sẵn sàng để có khả năng phục hồi dung lượng, tối ưu hóa chi phí và sử dụng mạng con. Tuy nhiên, trước đây, họ phải tạo và quản lý một nhóm phiên bản riêng cho mọi tổ hợp loại phiên bản và vùng sẵn sàng, làm phát sinh chi phí vận hành đối với các hoạt động cấu hình, điều chỉnh quy mô, vá lỗi và giám sát cụm.
Với nhóm phiên bản linh hoạt, bạn có thể xác định danh sách các loại phiên bản được sắp xếp theo thứ tự bằng tham số InstanceRequirements mới và cung cấp nhiều mạng con trên nhiều vùng sẵn sàng chỉ trong một nhóm phiên bản duy nhất. HyperPod cung cấp các phiên bản sử dụng loại ưu tiên cao nhất trước và tự động chuyển về các loại có độ ưu tiên thấp hơn khi dung lượng không khả dụng, nên khách hàng không phải thử lại theo cách thủ công trên nhiều nhóm phiên bản riêng lẻ. Khách hàng thuộc lĩnh vực đào tạo được hưởng lợi từ việc phân phối đa mạng con trong vùng sẵn sàng để tránh tình trạng sử dụng hết mạng con. Khách hàng thuộc lĩnh vực suy luận thực hiện điều chỉnh quy mô thủ công sẽ nhận được khả năng tự động chuyển về theo mức độ ưu tiên đối với nhiều loại phiên bản mà không cần phải thử lại riêng từng nhóm phiên bản riêng, còn khách hàng sử dụng tính năng tự động điều chỉnh quy mô của Karpenter có thể tham chiếu một nhóm phiên bản linh hoạt duy nhất. Karpenter tự động phát hiện loại phiên bản được hỗ trợ từ nhóm phiên bản linh hoạt rồi cung cấp loại và vùng sẵn sàng tối ưu dựa trên yêu cầu của pod. Bạn có thể tạo nhóm phiên bản linh hoạt bằng cách sử dụng API CreateCluster và UpdateCluster, AWS CLI hoặc Bảng điều khiển quản lý AWS.
Tính năng nhóm phiên bản linh hoạt được cung cấp cho các cụm SageMaker HyperPod sử dụng trình điều phối EKS ở tất cả các Khu vực AWS hỗ trợ SageMaker HyperPod. Để tìm hiểu thêm, hãy xem Nhóm phiên bản linh hoạt.