Mô hình Nemotron 3.5 Super VL hiện đã có sẵn trên Amazon SageMaker JumpStart
Mô hình Nemotron 3.5 Super VL của NVIDIA hiện có sẵn trên Amazon SageMaker JumpStart, mở rộng danh mục các mô hình nền tảng có sẵn cho khách hàng AWS. Mô hình thị giác-ngôn ngữ từ dòng Nemotron 3.5 này chấp nhận hình ảnh, video và văn bản làm đầu vào và tạo văn bản, cho phép khách hàng triển khai các giải pháp AI đa phương thức trên cơ sở hạ tầng AWS.
Nemotron 3.5 Super VL được thiết kế cho trí tuệ tài liệu, hiểu GUI, trả lời câu hỏi về video và các ứng dụng tác tử đa phương thức. Mô hình này kết hợp đường trục ngôn ngữ kết hợp nhiều chuyên gia (MoE) lai 120 tỷ tham số với 12 tỷ tham số hoạt động và bộ mã hóa thị giác, hỗ trợ độ dài ngữ cảnh lên đến 1 triệu mã thông báo. Mô hình này bao gồm đầu Dự đoán đa mã thông báo (MTP) tích hợp để giải mã suy đoán nhằm tăng tốc tạo văn bản, với suy luận có thể cấu hình cho mỗi yêu cầu. Nemotron 3.5 Super VL hỗ trợ mười ngôn ngữ bao gồm tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Đức, tiếng Nhật, tiếng Hindi, tiếng Hàn và tiếng Trung. Được đào tạo sau với tinh chỉnh có giám sát đa phương thức trên dữ liệu hình ảnh, video, tài liệu, biểu đồ và GUI, sau đó là học tăng cường GRPO, mô hình này cung cấp đầu ra JSON có cấu trúc, gọi công cụ và suy luận có thể cấu hình cho quy trình công việc tác tử doanh nghiệp. SageMaker JumpStart cung cấp hai biến thể: NVFP4 để suy luận được tối ưu hóa trên các phiên bản G7 với GPU NVIDIA RTX PRO 4500 Blackwell Server Edition và trọng số tham chiếu BF16 trên ml.p5en.48xlarge để tùy chỉnh bao gồm SFT, RL, chắt lọc và thích ứng miền.
Với SageMaker JumpStart, khách hàng có thể triển khai Nemotron 3.5 Super VL chỉ với một vài cú nhấp chuột để giải quyết các trường hợp sử dụng AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.