Tùy chỉnh phiên bản trình điều khiển và phần mềm trong phần triển khai mô hình Amazon SageMaker
Bây giờ, khi triển khai mô hình trên SageMaker, bạn có thể chọn phiên bản phần mềm và trình điều khiển được các phiên bản sử dụng sao cho phù hợp nhất với nhu cầu của bạn. Amazon SageMaker giúp triển khai các mô hình ML dễ dàng hơn, bao gồm mô hình nền tảng (FM) để tạo yêu cầu suy luận với tỷ lệ hiệu năng/giá tốt nhất cho mọi trường hợp sử dụng.
Trước đây, khách hàng phải sử dụng các phiên bản phần mềm và trình điều khiển đặt sẵn, do SageMaker xác định trên các phiên bản được quản lý phía sau điểm cuối. Hiện tại, khách hàng có thể chỉ định tham số “InferenceAmiVersion” khi định cấu hình điểm cuối để chọn tổ hợp phiên bản phần mềm và trình điều khiển (ví dụ: trình điều khiển Nvidia và phiên bản CUDA) đáp ứng tốt nhất các yêu cầu của họ. Điều này cho phép bạn tùy chỉnh môi trường lưu trữ của mình để đáp ứng các yêu cầu về hiệu suất, khả năng tương thích, khả năng điều chỉnh quy mô và hoạt động của các ứng dụng ML của bạn. Với tham số này, bạn cũng có thể hạ cấp và nâng cấp phiên bản trình điều khiển cho điểm cuối theo lịch trình của riêng bạn.
Tính năng này được cung cấp ở tất cả các khu vực hỗ trợ SageMaker. Bạn có thể tìm hiểu thêm về việc triển khai mô hình trên SageMaker tại đây và tìm hiểu thêm về tính năng này trong tài liệu của chúng tôi.