Amazon SageMaker AI giảm đến một nửa thời gian tăng quy mô theo phiên bản của quá trình suy luận AI tạo sinh với khả năng lưu đệm hình ảnh bộ chứa tự động
Amazon SageMaker Inference hiện hỗ trợ lưu đệm hình ảnh bộ chứa, cho phép điều chỉnh quy mô đầu cuối nhanh hơn gấp 2 lần cho mô hình AI tạo sinh trong các sự kiện tăng quy mô theo phiên bản. Khi điểm cuối của bạn tăng quy mô theo phiên bản, dịch vụ này sẽ lưu đệm trước hình ảnh bộ chứa để các phiên bản mới có thể bắt đầu phục vụ lưu lượng truy cập nhanh hơn mà không cần đợi hình ảnh bộ chứa lớn được lấy từ Amazon ECR.
Khối lượng công việc AI tạo sinh thường sử dụng hình ảnh bộ chứa lớn (10 GB trở lên) cho các khung học sâu và phục vụ mô hình. Trước đây, mọi phiên bản mới được khởi chạy trong quá trình tăng quy mô theo phiên bản đều phải lấy toàn bộ hình ảnh từ ECR, làm tăng thêm vài phút độ trễ khởi động nguội. Khả năng lưu đệm hình ảnh bộ chứa loại bỏ điểm nghẽn này bằng cách lấy trước hình ảnh để các phiên bản mới khởi chạy với bộ chứa đã có sẵn cục bộ. Khách hàng không cần phải thực hiện bất kỳ thay đổi nào. Dịch vụ này tự động lưu đệm bất kỳ URI hình ảnh nào được chỉ định trong cấu hình điểm cuối hoặc thành phần suy luận của bạn. Khả năng này hỗ trợ các loại phiên bản trình tăng tốc, điểm cuối mô hình đơn và điểm cuối dựa trên thành phần suy luận.
Với lần ra mắt này, SageMaker Inference hiện cung cấp bộ giải pháp tối ưu hóa điều chỉnh quy mô toàn diện cho AI tạo sinh: chỉ số xử lý đồng thời dưới một phút để phát hiện tải nhanh hơn đến 6 lần, lưu đệm bộ chứa kho lưu trữ phiên bản để điều chỉnh quy mô nhanh hơn trên các phiên bản hiện có và lưu đệm hình ảnh bộ chứa để điều chỉnh quy mô nhanh hơn gấp 2 lần trên các phiên bản mới.
Khả năng lưu đệm hình ảnh bộ chứa có sẵn ở tất cả các khu vực AWS thương mại có hỗ trợ Suy luận của SageMaker. Để tìm hiểu thêm, hãy truy cập blog giới thiệu.