Amazon SageMaker AI thông báo đã có sẵn phiên bản P5e và G6e cho các tác vụ Suy luận
Chúng tôi rất vui mừng thông báo rằng các phiên bản G6e tối ưu hóa cho suy luận (sử dụng GPU NVIDIA L40S Tensor Core) và P5e (sử dụng GPU NVIDIA H200 Tensor Core) hiện đã có sẵn trên Amazon SageMaker.
Với 8 GPU NVIDIA H200 cung cấp băng thông bộ nhớ GPU lên đến 1128 GB, 30 TB bộ nhớ SSD NVMe cục bộ, 192 vCPU và 2 TiB bộ nhớ hệ thống, phiên bản ml.p5e.48xlarge của AWS mang đến hiệu suất vượt trội cho các khối lượng công việc suy luận AI chuyên sâu, bao gồm mô hình ngôn ngữ lớn với hơn 100 tỷ tham số, mô hình nền tảng đa phương thức, tạo dữ liệu tổng hợp và các ứng dụng AI tạo sinh phức tạp như trả lời câu hỏi, tạo mã, video và tạo hình ảnh.
Dưới sự hỗ trợ của 8 GPU NVIDIA L40s Tensor Core, mỗi GPU trang bị 48 GB bộ nhớ và bộ xử lý AMD EPYC thế hệ thứ ba, phiên bản ml.g6e mang lại hiệu suất vượt trội, tăng cường hiệu suất lên đến 2,5 lần so với phiên bản ml.g5. Khách hàng có thể sử dụng phiên bản ml.g6e để chạy khả năng Suy luận của AI cho các mô hình ngôn ngữ lớn (LLM) với các tham số lên đến 13 tỷ và mô hình khuếch tán để tạo hình ảnh, video và âm thanh.
Các phiên bản ml.p5e và ml.g6e hiện đã được triển khai sẵn trên SageMaker tại các khu vực Miền Đông Hoa Kỳ (Ohio) và Miền Tây Hoa Kỳ (Oregon). Để bắt đầu, bạn chỉ cần yêu cầu nâng giới hạn thông qua Hạn mức dịch vụ AWS. Vui lòng truy cập trang giá của chúng tôi để biết thông tin giá của những phiên bản này. Để tìm hiểu thêm về việc triển khai mô hình với SageMaker, bạn có thể tham khảo tổng quan tại đây và tài liệu hướng dẫn tại đây. Để tìm hiểu thêm về các phiên bản này, bạn có thể truy cập vào các trang sản phẩm P5e và G6e.