Amazon SageMaker AI hiện đã hỗ trợ dung lượng Kế hoạch đào tạo linh hoạt cho Suy luận
Kế hoạch đào tạo linh hoạt (FTP) của Amazon SageMaker AI hiện đã hỗ trợ các điểm cuối suy luận, cung cấp cho khách hàng dung lượng GPU đảm bảo để phục vụ những quy trình đánh giá theo kế hoạch và giai đoạn sản xuất cao điểm. Giờ đây, khách hàng có thể đặt trước loại phiên bản chính xác mà mình cần, đồng thời dựa vào SageMaker AI để tự động đưa ra điểm cuối suy luận mà không cần tự mình thực hiện hành động quản lý cơ sở hạ tầng nào.
Khi khách hàng lên kế hoạch cho chu kỳ phát triển ML, họ cần chắc chắn rằng GPU cần thiết để đánh giá mô hình và kiểm thử trước khi sản xuất sẽ sẵn sàng vào đúng ngày họ cần. FTP giúp khách hàng dễ dàng tiếp cận dung lượng GPU để chạy khối lượng công việc ML. Với khả năng hỗ trợ các điểm cuối suy luận của FTP, bạn sẽ chọn loại phiên bản ưu tiên, yêu cầu tính toán, thời gian đặt trước và ngày bắt đầu cho khối lượng công việc suy luận của mình. Khi tạo điểm cuối, bạn chỉ cần dẫn chiếu ARN đặt trước, SageMaker AI sẽ tự động cung cấp và chạy điểm cuối trên dung lượng được đảm bảo đó trong toàn bộ thời gian kế hoạch. Do vậy, bạn không còn phải mất hàng tuần để quản lý cơ sở hạ tầng và lên lịch nên có thể chạy suy luận theo cách mình dự đoán được trước, đồng thời tập trung thời gian vào việc cải thiện hiệu năng của mô hình.
Kế hoạch đào tạo linh hoạt cho Suy luận của SageMaker AI được hỗ trợ ở các khu vực sau: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Miền Đông Hoa Kỳ (Ohio).
Để tìm hiểu thêm về cách sử dụng đặt trước FTP cho các điểm cuối suy luận, hãy truy cập tài liệu tham khảo về API suy luận của SageMaker AI tại đây.