Mô hình NVIDIA Nemotron 3.5 Lightning hiện đã có sẵn trên Amazon SageMaker JumpStart
Nemotron 3.5 Lightning của NVIDIA hiện đã có sẵn trên Amazon SageMaker JumpStart, cho phép khách hàng AWS truy cập vào mô hình mở nhanh nhất thuộc cùng hạng cho khối lượng công việc tác tử liên tục và thực thi tác vụ nhanh chóng.
Nemotron 3.5 Lightning được thiết kế cho các tác tử liên tục và tự động hóa doanh nghiệp thông lượng cao trên các lĩnh vực bao gồm trợ lý cá nhân, xử lý tài liệu tài chính, phân loại an ninh mạng và hoạt động viễn thông. Được xây dựng trên kiến trúc lai Kết hợp nhiều chuyên gia (MoE) với tổng cộng 30 tỷ thông số và chỉ 3 tỷ thông số hoạt động cho mỗi lần truyền xuôi, mô hình này đạt được thông lượng lên đến gấp 4 lần (khoảng 410 mã thông báo/giây) và hoàn thành tác vụ nhanh hơn 30% so với các mô hình tương đương. Được chắt lọc từ Nemotron 3 Ultra, mô hình này xử lý tới 1 triệu mã token ngữ cảnh thông qua giải mã suy đoán DFlash và tích hợp trực tiếp với các harness tác tử phổ biến. Mô hình này được đào tạo hoàn toàn mở trên các tập dữ liệu mở, do đó cho phép các doanh nghiệp đào tạo bổ sung cho các công cụ, quy trình công việc và chính sách của riêng họ, và triển khai với quyền sở hữu hoàn toàn trên cơ sở hạ tầng tại biên, cơ sở hạ tầng tại chỗ hoặc cơ sở hạ tầng đám mây.
Với SageMaker JumpStart, khách hàng có thể triển khai mô hình này chỉ với vài cú nhấp chuột để hỗ trợ khối lượng công việc AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.