Các mô hình Gemma-4-31B-it-assistant và Gemma-4-31B-IT-NVFP4 hiện đã có sẵn trên Amazon SageMaker JumpStart
Các mô hình Gemma-4-31B-it-assistant của Google DeepMind và Gemma-4-31B-IT-NVFP4 của NVIDIA hiện đã có sẵn trên Amazon SageMaker JumpStart, mở rộng danh mục các mô hình nền tảng có sẵn cho khách hàng AWS. Hai mô hình này mang kiến trúc dày đặc Gemma 4 31B hàng đầu cho khối lượng công việc doanh nghiệp ở cả hai biến thể độ chính xác đầy đủ và lượng tử hóa tối ưu, cho phép khách hàng triển khai các giải pháp AI hiệu năng cao, có thể điều chỉnh quy mô trên cơ sở hạ tầng AWS.
Các mô hình này giải quyết các thách thức AI cho doanh nghiệp khác nhau với các khả năng chuyên biệt:
Gemma-4-31B-it-assistant được xây dựng cho suy luận đa phương thức, lập trình và quy trình công việc dựa trên tác tử với vai trò là biến thể được tinh chỉnh cho trợ lý của mô hình dày đặc 31B hàng đầu của Google. Mô hình này xử lý đầu vào văn bản và hình ảnh (bao gồm video dưới dạng chuỗi khung hình) và tạo đầu ra văn bản, với cửa sổ ngữ cảnh 256.000 mã thông báo, đồng thời hỗ trợ hơn 140 ngôn ngữ. Được xếp hạng thứ 3 trong số các mô hình mở trên bảng xếp hạng văn bản Arena AI, vượt trội hơn các mô hình có kích thước lớn hơn gấp 20 lần, mô hình này có cơ chế chú ý lai xen kẽ cửa sổ trượt cục bộ và khả năng chú ý toàn cục đầy đủ với tính năng gọi hàm gốc để xây dựng các tác tử hoạt động độc lập.
Gemma-4-31B-IT-NVFP4 cung cấp khả năng Gemma 4 31B tương tự với chỉ một phần nhỏ mức chiếm dụng bộ nhớ. Được lượng tử hóa với khung ModelOpt của NVIDIA với độ chính xác FP4 4 bit, mô hình này giảm mức sử dụng bộ nhớ xuống khoảng 18,5 GB (nhỏ hơn 68% so với mô hình cơ sở) và đạt được suy luận nhanh hơn khoảng 2,5 lần trong khi vẫn duy trì 97 – 99% chất lượng của mô hình ban đầu. Lý tưởng cho các lượt triển khai sản xuất tiết kiệm chi phí, thông lượng cao trên NVIDIA RTX, DGX Spark và GPU trung tâm dữ liệu.
Với SageMaker JumpStart, khách hàng có thể triển khai bất kỳ mô hình nào trong số này chỉ với một vài cú nhấp chuột để giải quyết các trường hợp sử dụng AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.