Các mô hình Ministral-3-3B-Instruct-2512 và Ministral-3-8B-Instruct-2512 hiện đã có sẵn trên Amazon SageMaker JumpStart
Các mô hình Ministral-3-3B-Instruct-2512 và Ministral-3-8B-Instruct-2512 của Mistral AI hiện đã có trên Amazon SageMaker JumpStart, mở rộng danh mục các mô hình nền tảng dành cho khách hàng AWS. Hai mô hình từ dòng Ministral 3 này mang đến các mô hình ngôn ngữ nhỏ gọn, có khả năng xử lý hình ảnh được xây dựng chuyên biệt cho triển khai tại biên và môi trường hạn chế tài nguyên, cho phép khách hàng triển khai các giải pháp AI hiệu năng cao, có thể điều chỉnh quy mô trên cơ sở hạ tầng AWS.
Các mô hình này giải quyết các thách thức AI cho doanh nghiệp khác nhau với các khả năng chuyên biệt:
Ministral-3-3B-Instruct-2512 được thiết kế để triển khai tại biên cực gọn nhẹ với khả năng hiểu đa phương thức. Bao gồm mô hình ngôn ngữ 3,4 tỷ tham số và bộ mã hóa thị giác 0,4 tỷ tham số, mô hình này chỉ cần 8 GB VRAM ở định dạng FP8 trong khi hỗ trợ cửa sổ ngữ cảnh 256.000 mã thông báo. Ministral-3-3B-Instruct-2512 cung cấp phân tích thị giác, tuân theo hướng dẫn đa ngôn ngữ trên hàng chục ngôn ngữ (bao gồm tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Đức, tiếng Trung, tiếng Nhật, tiếng Hàn và tiếng Ả Rập), tuân thủ nghiêm ngặt câu lệnh hệ thống và gọi hàm gốc với đầu ra JSON có cấu trúc – tất cả đều theo giấy phép Apache 2.0.
Ministral-3-8B-Instruct-2512 mang đến khả năng đẳng cấp tiên phong tương đương với phiên bản Mistral Small 3.2 24B lớn hơn trong kiến trúc nhỏ gọn 8B. Được xây dựng với mô hình ngôn ngữ 8,4 tỷ tham số và bộ mã hóa thị giác 0,4 tỷ tham số, mô hình này vừa với 12 GB VRAM ở định dạng FP8 và có cơ chế chú ý cửa sổ trượt xen kẽ để suy luận nhanh hơn, tiết kiệm bộ nhớ. Ministral-3-8B-Instruct-2512 có cùng khả năng xử lý hình ảnh, khả năng đa ngôn ngữ, tác tử và gọi hàm giống như phiên bản cùng dòng 3B trong khi cung cấp khả năng suy luận và hiệu năng tạo mạnh mẽ hơn.
Với SageMaker JumpStart, khách hàng có thể triển khai bất kỳ mô hình nào trong số này chỉ với một vài cú nhấp chuột để giải quyết các trường hợp sử dụng AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.