Amazon SageMaker HyperPod hiện hỗ trợ cấu trúc liên kết cấp phân vùng cho các cụm được điều phối bằng Slurm
Amazon SageMaker HyperPod hiện hỗ trợ cấu hình cấu trúc liên kết mạng cấp phân vùng cho các cụm được điều phối bằng Slurm. Một cụm duy nhất giờ đây có thể chạy cấu trúc liên kết cây trong một phân vùng và cấu trúc liên kết khối trong một phân vùng khác, với mỗi phân vùng sử dụng loại cấu trúc liên kết phù hợp nhất với các loại phiên bản của mình. Điều này giúp cải thiện hiệu suất huấn luyện phân tán bằng cách đảm bảo việc đặt tác vụ phù hợp với đặc điểm bó kết nối của từng loại phiên bản, từ đó giao tiếp giữa GPU với GPU nhanh hơn, các hoạt động tập thể của NCCL hiệu quả hơn và thông lượng huấn luyện được cải thiện.
HyperPod xác định cấu trúc liên kết cho từng phân vùng dựa trên các loại phiên bản của các nhóm phiên bản tính toán trong phân vùng đó. Các phân vùng sử dụng loại phiên bản Amazon EC2 UltraServer, chẳng hạn như ml.p6e-gb200.36xlarge, sẽ dùng cấu trúc liên kết khối; các phân vùng sử dụng loại phiên bản có bó kết nối phân cấp, chẳng hạn như ml.p5.48xlarge, ml.p5e.48xlarge và ml.p5en.48xlarge, sẽ dùng cấu trúc liên kết cây; trong khi các phân vùng sử dụng loại phiên bản không cung cấp thông tin cấu trúc liên kết mạng vẫn có thể lập lịch đầy đủ. HyperPod tự động duy trì cấu hình này khi cụm có thay đổi thông qua các sự kiện mở rộng, thu hẹp và thay thế nút, nhờ đó cấu trúc liên kết của từng phân vùng luôn phản ánh đúng trạng thái hiện tại của cụm.
Để bắt đầu, hãy tạo hoặc cập nhật cụm SageMaker HyperPod Slurm chạy Slurm phiên bản 25.11 trở lên với các loại phiên bản GPU được hỗ trợ. Lập lịch có lưu ý cấu trúc liên kết được bật theo mặc định và không yêu cầu cấu hình. Tính năng này được cung cấp ở tất cả các Khu vực AWS có hỗ trợ Amazon SageMaker HyperPod. Để tìm hiểu thêm, vui lòng xem mục Sử dụng lập lịch có lưu ý topo trong Amazon SageMaker HyperPod.