Amazon SageMaker AI hiện đã hỗ trợ giải mã suy đoán EAGLE
Amazon SageMaker AI hiện đã hỗ trợ khả năng giải mã suy đoán EAGLE (Thuật toán ngoại suy cho hiệu quả mô hình ngôn ngữ lớn hơn) để gia tăng thông lượng suy luận mô hình ngôn ngữ lớn thêm đến 2,5 lần. Khả năng này cho phép các mô hình dự đoán và xác thực nhiều mã thông báo đồng thời thay vì từng mã thông báo một, cải thiện thời gian phản hồi cho ứng dụng AI.
Khi khách hàng triển khai ứng dụng AI vào sản xuất, họ cần khả năng phục vụ mô hình với độ trễ thấp và thông lượng cao để mang lại trải nghiệm người dùng có khả năng phản hồi. Các nhà khoa học dữ liệu và kỹ sư ML thiếu các phương thức hiệu quả để tăng tốc tạo mã thông báo mà không hy sinh chất lượng kết quả đầu ra hoặc yêu cầu tái cấu trúc mô hình phức tạp, khiến việc đáp ứng kỳ vọng hiệu năng đối với lưu lượng truy cập thực tế trở nên khó khăn. Nhiều đội ngũ phải dành lượng thời gian đáng kể để tối ưu hóa cơ sở hạ tầng thay vì cải thiện ứng dụng AI của mình. Với khả năng giải mã suy đoán EAGLE, SageMaker AI tạo điều kiện cho khách hàng tăng tốc thông lượng suy luận bằng cách cho phép các mô hình tạo và xác minh nhiều mã thông báo song song thay vì từng mã thông báo một, vừa duy trì ổn định chất lượng kết quả đầu ra vừa tăng đáng kể thông lượng. SageMaker AI tự động lựa chọn giữa EAGLE 2 và EAGLE 3 dựa trên kiến trúc mô hình của bạn và cung cấp các tác vụ tối ưu hóa tích hợp sử dụng tập dữ liệu được tuyển chọn hoặc dữ liệu ứng dụng riêng của bạn để huấn luyện các đầu dự đoán chuyên dụng. Sau đó, bạn có thể triển khai mô hình đã được tối ưu hóa thông qua quy trình suy luận AI SageMaker hiện có mà không cần thay đổi cơ sở hạ tầng, tạo điều kiện cho bạn cung cấp ứng dụng AI nhanh hơn với hiệu năng có thể dự đoán.
Bạn có thể sử dụng khả năng giải mã suy đoán EAGLE ở các Khu vực AWS sau: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Miền Đông Hoa Kỳ (Ohio), Châu Á Thái Bình Dương (Tokyo), Châu Âu (Ireland), Châu Á Thái Bình Dương (Singapore) và Châu Âu (Frankfurt)
Để tìm hiểu thêm về khả năng giải mã suy đoán EAGLE, hãy truy cập Blog Tin tức AWS tại đây và tài liệu về SageMaker AI tại đây.