Amazon SageMaker HyperPod hiện hỗ trợ phiên bản G7e và phiên bản r5d.16xlarge
Amazon SageMaker HyperPod hiện hỗ trợ phiên bản G7e và phiên bản r5d.16xlarge. SageMaker HyperPod là cơ sở hạ tầng được xây dựng cho mục đích nhất định để phát triển, đào tạo và triển khai các mô hình nền tảng trên quy mô lớn. SageMaker HyperPod cung cấp môi trường có khả năng phục hồi, đạt hiệu năng cao với khả năng chịu lỗi tích hợp sẵn, phục hồi cụm tự động và thư viện đào tạo phân tán được tối ưu hóa. Điều này giúp giảm bớt công việc nặng nhọc không có gì khác biệt trong việc quản lý cơ sở hạ tầng AI/ML quy mô lớn.
Phiên bản G7e được trang bị GPU NVIDIA RTX PRO 6000 Blackwell Server Edition và mang lại hiệu suất suy luận tốt hơn tới 2,3 lần so với các phiên bản G6e, cho phép bạn xử lý nhiều yêu cầu hơn mỗi giây đồng thời giảm độ trễ. Với tổng dung lượng bộ nhớ GPU lên đến 768 GB, phiên bản G7e cho phép bạn triển khai các mô hình ngôn ngữ lớn hơn hoặc chạy nhiều mô hình trên một điểm cuối duy nhất. Bạn có thể sử dụng các phiên bản này để triển khai mô hình LLM, AI trợ lý ảo, AI tạo sinh đa phương thức và mô hình AI vật lý. Phiên bản G7e cũng rất phù hợp cho việc tinh chỉnh hoặc đào tạo tiết kiệm chi phí trên một nút duy nhất trong xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính và các mô hình AI tạo sinh nhỏ hơn, với hiệu suất TFLOPs cao hơn tới 1,27 lần và băng thông GPU đến GPU nhanh hơn tới 4 lần so với G6e. Ngoài ra, HyperPod hiện cũng hỗ trợ r5d.16xlarge. Phiên bản r5d.16xlarge cung cấp 64 vCPU, bộ nhớ 512 GB và 3.000 GB NVMe SSD dành cho lưu trữ phiên bản, được trang bị bộ xử lý Intel Xeon Platinum 8000 series với tốc độ xung nhịp turbo lên đến 3,1 GHz bền bỉ trên toàn bộ nhân. Phiên bản này rất phù hợp cho việc xử lý trước dữ liệu đào tạo phân tán, đặc biệt là với các khung như Ray, kỹ thuật lấy dữ liệu đặc trưng quy mô lớn và chạy các dịch vụ điều phối thiên về bộ nhớ cùng với điện toán GPU.
Phiên bản G7e được cung cấp tại Miền Đông Hoa Kỳ (Bắc Virginia), US East (Ohio), Châu Á Thái Bình Dương (Tokyo) và Miền Tây Hoa kỳ (Oregon), còn phiên bản r5d.16xlarge được cung cấp ở tất cả các khu vực có Amazon SageMaker HyperPod.