Amazon SageMaker AI hiện hỗ trợ tính năng suy luận có nhận biết dung lượng với khả năng dự phòng phiên bản tự động
Các điểm cuối suy luận của Amazon SageMaker AI hiện hỗ trợ việc cung cấp linh hoạt trên một danh sách các loại phiên bản được ưu tiên. Khi loại phiên bản được ưu tiên của bạn không đủ dung lượng, SageMaker AI sẽ tự động cung cấp từ tùy chọn khả dụng tiếp theo trong danh sách của bạn – bảo đảm việc tạo điểm cuối và tự động điều chỉnh quy mô hoạt động trơn tru mà không cần sự can thiệp thủ công. Nhờ vậy, các nhóm triển khai mô hình AI/ML trong sản xuất sẽ có được khả năng phục hồi để xử lý các hạn chế về dung lượng một cách nhẹ nhàng, bảo đảm các điểm cuối xuất hiện một cách đáng tin cậy và điều chỉnh quy mô theo yêu cầu.
Với sự hỗ trợ nhóm phiên bản, bạn xác định danh sách loại phiên bản được ưu tiên và SageMaker AI sẽ tự động cung cấp dung lượng theo đúng thứ tự trong danh sách đó. Điều này áp dụng cho các hoạt động tạo điểm cuối, cập nhật và điều chỉnh quy mô. Khi giảm quy mô, SageMaker AI sẽ loại bỏ các phiên bản có mức ưu tiên thấp nhất trước tiên, duy trì cơ sở hạ tầng ưu tiên của bạn như hợp đồng nhóm. Điều này áp dụng cho các điểm cuối Mô hình đơn, điểm cuối dựa trên InferenceComponent và điểm cuối Suy luận không đồng bộ, bao gồm cả điểm cuối điều chỉnh quy mô xuống 0, trong đó SageMaker AI cung cấp từ nhóm khả dụng có mức ưu tiên cao nhất của bạn khi tăng quy mô trở lại.
Vì các loại phiên bản dự phòng có sự khác biệt về bộ nhớ GPU và khả năng điện toán, nên bạn có thể chỉ định mô hình được tối ưu hóa khác nhau cho từng loại phiên bản trong danh sách ưu tiên. Bạn có thể tự chuẩn bị các tạo tác này hoặc sử dụng các mục đề xuất suy luận của SageMaker AI để tự động tạo cấu hình được tối ưu hóa riêng theo phần cứng cho mỗi loại phiên bản. Ngoài ra, chỉ số CloudWatch theo loại phiên bản mang đến khả năng hiển thị độ trễ, thông lượng, mức sử dụng GPU và số lượng phiên bản theo loại phần cứng trong một điểm cuối.
Khả năng này hiện được cung cấp ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Canada (Miền Trung), Nam Mỹ (São Paulo), Châu Âu (Ireland), Châu Âu (London), Châu Âu (Frankfurt), Châu Âu (Stockholm), Châu Âu (Zurich), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Seoul), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Sydney), Châu Á Thái Bình Dương (Mumbai) và Châu Á Thái Bình Dương (Jakarta). Để tìm hiểu thêm, hãy truy cập tài liệu về Amazon SageMaker AI.