Các mô hình langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking và LightOnOCR-2-1B hiện đã có sẵn trên Amazon SageMaker JumpStart
Các mô hình langcache-embed-v3-small của Redis, Mellum2-12B-A2.5B-Thinking của JetBrains và LightOnOCR-2-1B của LightOn hiện đã có sẵn trên Amazon SageMaker JumpStart, mở rộng danh mục mô hình nền tảng có sẵn cho khách hàng AWS. Ba mô hình này mang đến các khả năng chuyên biệt bao gồm tối ưu hóa bộ nhớ đệm ngữ nghĩa, suy luận tập trung vào mã và OCR tài liệu đầu cuối, cho phép khách hàng triển khai các giải pháp AI hiệu năng cao, có khả năng điều chỉnh quy mô trên cơ sở hạ tầng AWS.
langcache-embed-v3-small được tối ưu hóa cho bộ nhớ đệm ngữ nghĩa trong các ứng dụng LLM. Mô hình này ánh xạ các câu và đoạn văn thành một không gian véc-tơ dày đặc chuyên dụng để xác định các truy vấn tương đương về ngữ nghĩa bất kể cách diễn đạt, cho phép truy xuất trúng bộ nhớ đệm thông minh giúp giảm các lệnh gọi LLM dư thừa và tăng tốc thời gian phản hồi trong khối lượng công việc suy luận lớn.
Mellum2-12B-A2.5B-Thinking vượt trội trong việc tạo mã, gỡ lỗi, suy luận nhiều bước và quy trình công việc lập trình dựa trên tác tử. Mô hình này sử dụng kiến trúc Kết hợp nhiều chuyên gia (64 chuyên gia, 8 được kích hoạt trên mỗi mã token), chỉ kích hoạt 2,5 tỷ trong tổng số 12 tỷ thông số cho mỗi lần truyền xuôi với độ dài ngữ cảnh 131.072 mã thông báo. Mô hình này tạo ra các dấu vết suy luận chuỗi tư duy rõ ràng trước câu trả lời cuối cùng, cung cấp suy luận thông lượng cao, độ trễ thấp, lý tưởng cho định tuyến, RAG, tác tử phụ và triển khai riêng tư.
LightOnOCR-2-1B cung cấp chuyển đổi tài liệu sang văn bản đa ngôn ngữ toàn diện cho các tệp PDF, bản quét và hình ảnh mà không cần các quy trình OCR dễ bị lỗi. Mô hình thị giác – ngôn ngữ 1 tỷ tham số này trực tiếp chuyển đổi hình ảnh trang tài liệu thành văn bản rõ ràng, theo đúng thứ tự tự nhiên, đạt hiệu năng tiên tiến nhất trên OlmOCR-Bench, đồng thời có kích thước nhỏ hơn khoảng 9 lần và nhanh hơn đáng kể so với các phương pháp cạnh tranh.
Với SageMaker JumpStart, khách hàng có thể triển khai bất kỳ mô hình nào trong số này chỉ với một vài cú nhấp chuột để giải quyết các trường hợp sử dụng AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.