Amazon SageMaker HyperPod hiện đã hỗ trợ GPU nhiều phiên bản (MIG) của NVIDIA cho tác vụ AI tạo sinh
Amazon SageMaker HyperPod hiện đã hỗ trợ công nghệ GPU nhiều phiên bản (MIG) của NVIDIA, cho phép quản trị viên phân vùng một GPU duy nhất thành nhiều GPU phân lập. Khả năng này cho phép quản trị viên tối đa hóa việc sử dụng tài nguyên bằng cách chạy đồng thời nhiều tác vụ AI tạo sinh (GenAI) nhỏ, đa dạng trên các phân vùng GPU trong khi vẫn duy trì hiệu suất và phân lập tác vụ.
Quản trị viên có thể chọn thiết lập cấu hình dễ sử dụng trên bảng điều khiển SageMaker HyperPod hoặc phương pháp tiếp cận thiết lập tùy chỉnh để kích hoạt các tài nguyên chi tiết, được phân lập phần cứng cho các yêu cầu tác vụ cụ thể không đòi hỏi phải sử dụng toàn bộ dung lượng GPU. Các tác vụ này cũng có khả năng phân bổ hạn mức tính toán để đảm bảo phân phối một cách công bằng và hiệu quả các phân vùng GPU giữa các nhóm. Với các chỉ số hiệu suất thời gian thực và bảng điều khiển giám sát sử dụng tài nguyên trên khắp các phân vùng GPU, quản trị viên sẽ có được khả năng quan sát cần thiết để tối ưu hóa việc phân bổ tài nguyên. Giờ đây, các nhà khoa học dữ liệu có thể đẩy nhanh thời gian đưa sản phẩm ra thị trường bằng cách lên lịch các tác vụ suy luận nhẹ và chạy song song nhiều sổ tay trên các phân vùng GPU, loại bỏ thời gian chờ để có thể sử dụng toàn bộ GPU.
Khả năng này hiện được cung cấp cho các cụm Amazon SageMaker HyperPod sử dụng trình điều phối EKS trên khắp các Khu vực AWS sau: Miền Tây Hoa Kỳ (Oregon), Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Bắc California), Canada (Miền Trung), Nam Mỹ (Sao Paulo), Châu Âu (Stockholm), Châu Âu (Tây Ban Nha), Châu Âu (Ireland), Châu Âu (Frankfurt), Châu Âu (London), Châu Á Thái Bình Dương (Mumbai), Châu Á Thái Bình Dương (Jakarta), Châu Á Thái Bình Dương (Melbourne), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Sydney), Châu Á Thái Bình Dương (Seoul), Châu Á Thái Bình Dương (Singapore).
Để tìm hiểu thêm, hãy truy cập trang web SageMaker HyperPod và tài liệu về SageMaker HyperPod.