Amazon SageMaker ra mắt tính năng Suy luận dựa trên mô hình nhiều bộ điều hợp
Hôm nay, Amazon SageMaker giới thiệu tính năng suy luận dựa trên nhiều bộ điều hợp mới, mở ra nhiều cơ hội hấp dẫn cho khách hàng sử dụng mô hình ngôn ngữ được đào tạo trước. Với tính năng này, bạn có thể triển khai hàng trăm bộ điều hợp mô hình LoRA (Low-Rank Adaptation) được tinh chỉnh cho một điểm cuối duy nhất để linh hoạt tải bộ điều hợp phù hợp với yêu cầu chỉ trong vài mili giây. Tính năng này cho phép bạn lưu trữ hiệu quả nhiều bộ điều hợp LoRA chuyên dụng được xây dựng trên một mô hình cơ sở chung để cung cấp thông lượng cao và tiết kiệm chi phí so với phương pháp triển khai các mô hình riêng biệt.
Với tính năng suy luận dựa trên nhiều bộ điều hợp, bạn có thể nhanh chóng tùy chỉnh mô hình được đào tạo trước để đáp ứng các nhu cầu kinh doanh đa dạng. Ví dụ: các công ty marketing và SaaS có thể cá nhân hóa ứng dụng AI/ML bằng cách sử dụng hình ảnh, phong cách giao tiếp và tài liệu riêng của từng khách hàng để tạo ra nội dung phù hợp chỉ trong vài giây. Tương tự như vậy, doanh nghiệp thuộc các lĩnh vực như chăm sóc sức khỏe và dịch vụ tài chính có thể sử dụng lại một mô hình cơ sở chung chạy trên LoRA để giải quyết nhiều nhiệm vụ chuyên biệt, từ chẩn đoán y tế đến phát hiện gian lận, chỉ bằng cách hoán đổi bộ điều hợp được tinh chỉnh phù hợp. Tính linh hoạt và hiệu quả này mở ra những cơ hội mới để bạn triển khai công nghệ AI mạnh mẽ và có khả năng thích ứng cao trong tổ chức.
Tính năng suy luận dựa trên nhiều bộ điều hợp được áp dụng rộng rãi ở các khu vực: Châu Á Thái Bình Dương (Tokyo, Seoul, Mumbai, Singapore, Sydney, Jakarta), Canada (Miền Trung), Châu Âu (Frankfurt, Stockholm, Ireland, London), Trung Đông (Các tiểu Vương quốc Ả Rập Thống nhất), Nam Mỹ (Sao Paulo), Miền Đông Hoa Kỳ (Bắc Virginia, Ohio) và Miền Tây Hoa Kỳ (Oregon).
Để bắt đầu, hãy tham khảo hướng dẫn về Amazon SageMaker dành cho nhà phát triển để biết thông tin về cách sử dụng LoRA và quản lý bộ điều hợp mô hình.