Các mô hình GLM-5.2 FP8, NVIDIA-Nemotron-Nano-12B-v2 và GLM-OCR hiện đã có sẵn trên Amazon SageMaker JumpStart
Các mô hình GLM-5.2 FP8 của Z.ai, Nemotron-Nano-12B-v2 của NVIDIA và GLM-OCR của Z.ai hiện được cung cấp trên Amazon SageMaker JumpStart, mở rộng danh mục mô hình nền tảng có sẵn cho khách hàng AWS. Ba mô hình này mang đến các khả năng chuyên biệt bao gồm kỹ thuật tác tử dài hạn, suy luận kết hợp hiệu quả và hiểu tài liệu nâng cao, cho phép khách hàng triển khai các giải pháp AI hiệu năng cao, có khả năng điều chỉnh quy mô trên cơ sở hạ tầng AWS.
GLM-5.2 FP8 được tối ưu hóa cho các tác vụ dài hạn và quy trình công việc kỹ thuật tác tử như phát triển phần mềm toàn chu kỳ từ yêu cầu đến triển khai. Mô hình này mang lại một bước nhảy vọt đáng kể về khả năng tác vụ dài hạn so với mô hình tiền nhiệm GLM-5.1 và lần đầu tiên, cung cấp cửa sổ ngữ cảnh 1 triệu mã token thực sự có thể sử dụng, cho phép mô hình này xử lý ngữ cảnh kỹ thuật cấp dự án, thực thi các tác vụ chạy lâu dài một cách đáng tin cậy, tuân theo các tiêu chuẩn kỹ thuật một cách nhất quán và hoàn thành quy trình công việc phát triển đầy đủ trong một tác vụ duy nhất.
NVIDIA-Nemotron-Nano-12B-v2 vượt trội trong các tác vụ suy luận và phi suy luận hợp nhất với thông lượng suy luận cao. Do đó, đây là lựa chọn lý tưởng cho các ứng dụng doanh nghiệp đòi hỏi cả độ chính xác và hiệu quả. Mô hình này sử dụng kiến trúc lai Mamba-2 và Bộ chuyển đổi với độ dài ngữ cảnh 128K, tạo ra dấu vết suy luận trước khi kết thúc với các phản hồi cuối cùng. Thiết kế nhỏ gọn với 12 tỷ thông số của mô hình này đạt được độ chính xác tương đương hoặc tốt hơn so với các mô hình mở hàng đầu trong khi cung cấp thông lượng suy luận cao hơn đến 6 lần.
GLM-OCR cung cấp khả năng hiểu tài liệu chính xác, nhanh chóng và toàn diện cho các tài liệu phức tạp trong thực tế, bao gồm các tệp PDF được quét, ghi chú viết tay, bài báo học thuật dày đặc công thức, bảng nhiều cột, tài liệu mã và văn bản đa ngôn ngữ. Với 0,9 tỷ thông số, mô hình đa phương thức này tái tạo cấu trúc, bảng và công thức dưới dạng Markdown, JSON hoặc LaTeX sạch, với độ trễ đủ thấp cho các dịch vụ thời gian thực và thiết bị biên – lý tưởng cho quy trình công việc xử lý tài liệu quy mô lớn và trích xuất hóa đơn.
Với SageMaker JumpStart, khách hàng có thể triển khai bất kỳ mô hình nào trong số này chỉ với một vài cú nhấp chuột để giải quyết các trường hợp sử dụng AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.