Thông báo mở rộng khu vực của phiên bản G7e trên suy luận SageMaker AI
Chúng tôi vui mừng thông báo việc cung cấp phiên bản Amazon EC2 G7e ở Châu Á Thái Bình Dương (Seoul), Châu Âu (London) và Châu Á Thái Bình Dương (Tokyo) trên suy luận Amazon SageMaker AI. Phiên bản G7e có tối đa 8 GPU NVIDIA RTX PRO 6000 Blackwell Server Edition với bộ nhớ 96 GB trên mỗi GPU, bộ xử lý Intel Xeon thế hệ thứ 5 và băng thông mạng Trình chuyển cấu trúc linh hoạt lên đến 1.600 Gbps, mang lại hiệu năng suy luận lên đến 2,3 lần so với các phiên bản G6e thế hệ trước.
Với việc mở rộng khu vực này, giờ đây bạn có thể triển khai các điểm cuối suy luận trên các phiên bản G7e gần với người dùng cuối của bạn ở châu Á và châu Âu, giảm độ trễ cho khối lượng công việc AI tạo sinh. Phiên bản G7e cung cấp tổng bộ nhớ GPU lên đến 768 GB trên một phiên bản duy nhất, cho phép bạn phục vụ các mô hình ngôn ngữ từ trung bình đến lớn, tối đa 70 tỷ thông số với độ chính xác FP8 mà không cần cấu hình đa nút. Các phiên bản này rất phù hợp cho suy luận LLM, tạo hình ảnh và video, điện toán không gian và khối lượng công việc điện toán khoa học yêu cầu dung lượng bộ nhớ GPU và băng thông cao.
Phiên bản G7e cho suy luận SageMaker AI hiện có sẵn ở Châu Á Thái Bình Dương (Seoul), Châu Âu (London) và Châu Á Thái Bình Dương (Tokyo), ngoài các khu vực được hỗ trợ trước đây. Vui lòng truy cập trang định giá của chúng tôi để biết thông tin về mức giá của những phiên bản này.