Amazon SageMaker HyperPod hiện đã hỗ trợ tính năng lưu mô hình vào bộ nhớ đệm để tự động điều chỉnh quy mô suy luận nhanh hơn và giảm thời gian khởi động nguội
Amazon SageMaker HyperPod hiện đã hỗ trợ tính năng lưu mô hình vào bộ nhớ đệm, một tính năng tối ưu hóa suy luận giúp tải trước trọng số mô hình và ảnh bộ chứa lên các nút cụm để pod có thể khởi động trong vài giây thay vì vài phút.
Khi chạy suy luận LLM ở quy mô lớn cho các khối lượng công việc như trợ lý trò chuyện, quy trình tác tử, RAG và phân tích tài liệu, thời gian khởi động nguội là một điểm nghẽn thực sự. Các hoạt động triển khai và sự kiện mở rộng quy mô dành phần lớn thời gian để tải xuống ảnh bộ chứa và trọng số mô hình. Khi kích thước mô hình tăng lên, vấn đề này càng nghiêm trọng hơn, với các mô hình lớn mất hàng chục phút trước khi có thể xử lý lưu lượng truy cập.
Tính năng lưu mô hình vào bộ nhớ đệm giải quyết vấn đề này bằng hai khả năng độc lập. Bộ nhớ đệm trọng số lưu trọng số mô hình trên NVMe cục bộ để pod đọc từ bộ lưu trữ cục bộ tốc độ cao thay vì lấy từ S3 hoặc FSx qua mạng. Bộ nhớ đệm ảnh tải trước ảnh bộ chứa để pod bỏ qua hoàn toàn bước tải xuống từ ECR. Nếu pod được lên lịch trên một nút không có bộ nhớ đệm đã được làm nóng, hệ thống sẽ tự động quay lại tải từ nguồn ban đầu, nhờ đó không có nguy cơ pod bị kẹt hoặc lỗi.
Điểm chuẩn trên các mô hình có kích thước từ 57 GB đến 145 GB cho thấy tốc độ mở rộng quy mô nhanh hơn khoảng 60%, trong khi bộ nhớ đệm ảnh giúp giảm hơn hai phút thời gian tải ảnh xuống (giảm 97%). Lợi ích tăng lên theo kích thước mô hình trong khi vẫn duy trì độ tin cậy của đường dẫn nguồn ban đầu.
Khách hàng bật tính năng lưu mô hình vào bộ nhớ đệm thông qua HyperPod Inference Operator bằng cách thêm phần modelCacheConfig vào tài nguyên InferenceEndpointConfig hoặc JumpStartModel. Bộ điều khiển tự động xử lý toàn bộ vòng đời mà không cần thiết lập hoặc dọn dẹp thủ công.
Tính năng lưu mô hình vào bộ nhớ đệm hiện đã được cung cấp rộng rãi tại tất cả các khu vực có SageMaker HyperPod. Để bắt đầu, hãy xem tài liệu về SageMaker HyperPod.