Amazon SageMaker HyperPod hiện hỗ trợ kiểm tra tình trạng chuyên sâu cho các cụm Slurm với khả năng cấp phát liên tục
Amazon SageMaker HyperPod hiện hỗ trợ kiểm tra tình trạng chuyên sâu đối với các cụm do Slurm điều phối, được tạo bằng cách cấp phát liên tục, cho phép bạn chủ động xác minh tình trạng của bộ tăng tốc GPU trên các phiên bản đang chạy bất cứ lúc nào. Khả năng cấp phát liên tục cho phép bạn bắt đầu đào tạo nhanh chóng và điều chỉnh quy mô các nhóm phiên bản bất đồng bộ mà không bị lỗi theo kiểu được tất cả hoặc không có gì, và giờ đây bạn có thể kết hợp tính linh hoạt đó với xác thực phần cứng toàn diện khi các phiên bản được đưa vào hoạt động. Khả năng này giúp giải quyết một thách thức nghiêm trọng: chỉ một nút không lành mạnh cũng có thể lãng phí nhiều giờ điện toán và trì hoãn khối lượng công việc quan trọng.
Với tính năng kiểm tra tình trạng chuyên sâu, bạn có thể nhắm đến toàn bộ nhóm phiên bản hoặc các phiên bản cụ thể để chạy kiểm thử áp lực phần cứng và kiểm thử kết nối trước khi xác nhận tài nguyên điện toán cho một công việc. Do khả năng cấp phát liên tục bổ sung các nút thợ vào cụm Slurm của bạn một cách bất đồng bộ khi dung lượng có sẵn, bạn có thể chạy kiểm tra tình trạng chuyên sâu trên mỗi nút mới khi nút đó được đưa vào hoạt động, xác thực phần cứng trước khi lên lịch các công việc trên đó và không làm gián đoạn khối lượng công việc đã chạy trên các nút hoạt động tốt. Tiến trình và kết quả được hiển thị ở cả hai cấp độ nhóm phiên bản và phiên bản thông qua bảng điều khiển SageMaker và API, bảo đảm khả năng hiển thị đầy đủ về tình trạng GPU, kết nối mạng và hiệu suất truyền dữ liệu đa nút. Các phiên bản đang được kiểm thử sẽ tự động được tách khỏi lịch trình khối lượng công việc và được đưa trở lại dịch vụ khi có kết quả đạt. Khi được ghép nối với khả năng tự động phục hồi nút của HyperPod, các phiên bản có kết quả kiểm thử không đạt sẽ tự động được khởi động lại hoặc thay thế để bảo đảm tình trạng của cụm.
Khả năng này được cung cấp ở tất cả các khu vực có Amazon SageMaker HyperPod. Để tìm hiểu thêm về kiểm tra tình trạng chuyên sâu theo nhu cầu và khả năng cấp phát liên tục, hãy xem Hướng dẫn sử dụng Amazon SageMaker HyperPod.