Công bố tính năng định tuyến phiên dính cho quy trình Suy luận của Amazon SageMaker
Hôm nay, chúng tôi xin công bố ra mắt tính năng định tuyến phiên dính trên quy trình Suy luận của Amazon SageMaker để giúp khách hàng cải thiện hiệu suất và trải nghiệm người dùng cho các ứng dụng AI tạo sinh bằng cách tận dụng thông tin đã xử lý trước đó. Amazon SageMaker giúp triển khai các mô hình ML dễ dàng hơn, bao gồm mô hình nền tảng (FM) để tạo yêu cầu suy luận với tỷ lệ hiệu năng/giá tốt nhất cho mọi trường hợp sử dụng.
Khi bạn bật phiên dính, tất cả các yêu cầu dành cho một phiên sẽ được định tuyến đến cùng một phiên bản, cho phép ứng dụng ML sử dụng lại thông tin đã xử lý trước đó để giảm độ trễ và cải thiện trải nghiệm của người dùng. Tính năng này đặc biệt hữu ích khi khách hàng muốn sử dụng tải trọng dữ liệu lớn hoặc muốn có trải nghiệm tương tác liền mạch. Bằng cách tận dụng yêu cầu suy luận trước đó, giờ đây khách hàng có thể sử dụng tính năng này để xây dựng các ứng dụng AI nhận biết trạng thái tiên tiến trên SageMaker. Để thực hiện việc này, khách hàng sẽ phải tạo ID phiên bằng yêu cầu đầu tiên, sau đó sử dụng ID phiên đó để cho biết SageMaker sẽ định tuyến tất cả các yêu cầu tiếp theo đến cùng một phiên bản. Bạn cũng có thể xóa phiên khi hoàn tất để giải phóng tài nguyên cho phiên mới.
Tính năng này được cung cấp ở tất cả các khu vực hỗ trợ SageMaker. Bạn có thể tìm hiểu thêm về cách triển khai mô hình trên SageMaker tại đây và tìm hiểu thêm về tính năng này trong tài liệu của chúng tôi.