Suy luận Amazon SageMaker AI hiện hỗ trợ phân vùng GPU cho các điểm cuối thời gian thực
Suy luận Amazon SageMaker AI hiện hỗ trợ phân vùng GPU, cho phép bạn chạy nhiều mô hình trên một GPU duy nhất thay vì dành toàn bộ trình tăng tốc cho từng mô hình. Sử dụng công nghệ GPU nhiều phiên bản (MIG) NVIDIA, SageMaker AI chia GPU thành tối đa bảy phân vùng riêng biệt, mỗi phân vùng có bộ nhớ và điện toán riêng. Khách hàng phục vụ các mô hình cỡ vừa và nhỏ, chẳng hạn như các biến thể tinh chỉnh, mô hình nhúng, mô hình xếp hạng lại và mô hình phân loại, trước đây phải cung cấp cho mỗi mô hình toàn bộ trình tăng tốc, vì vậy một phiên bản lưu trữ không nhiều mô hình hơn so với GPU và trả tiền cho dung lượng GPU mà các mô hình đó không bao giờ có thể sử dụng.
Với phân vùng GPU, bạn sẽ chọn cách phân chia GPU phía sau điểm cuối và đặt từng mô hình trên một phân vùng được định cỡ phù hợp. Một số mô hình sau đó dùng chung một trình tăng tốc với cô lập được thực thi bằng phần cứng, vì vậy một mô hình được sử dụng nhiều không thể lấy bộ nhớ hoặc thông lượng từ các mô hình lân cận. Việc định chỉnh quy mô trình tăng tốc phù hợp với khối lượng công việc cũng mở ra các thế hệ phiên bản mới hơn; nếu không có khả năng này thì sẽ có dung lượng nhiều hơn mức cần thiết đối với một mô hình đơn lẻ. Bạn cấu hình phân vùng GPU khi tạo một điểm cuối lưu trữ các thành phần suy luận và bạn tiếp tục gọi từng mô hình theo tên, do đó mã ứng dụng không thay đổi.
Phân vùng GPU có sẵn trên các phiên bản P4d, P5, G7 và G7e ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Tokyo), Châu Âu (Frankfurt) và Châu Âu (Ireland). Để tìm hiểu thêm, hãy truy cập trang triển khai Amazon SageMaker AI và xem Hướng dẫn dành cho nhà phát triển về Amazon SageMaker AI.