langcache-embed-v3-small、Mellum2-12B-A2.5B-Thinking 和 LightOnOCR-2-1B 模型現已適用於 Amazon SageMaker JumpStart

張貼日期: 2026年8月10日

Redis langcache-embed-v3-small、JetBrains Mellum2-12B-A2.5B-Thinking 和 LightOn LightOnOCR-2-1B 模型現已適用於 Amazon SageMaker JumpStart，從而擴大 AWS 客戶的可用基礎模型產品組合。這三種模型提供涵蓋語義快取最佳化、以程式碼為中心的推理和端對端文件 OCR 的專業功能，使客戶能夠在 AWS 基礎結構上部署高效能且可擴充的 AI 解決方案。

langcache-embed-v3-small 已針對 LLM 應用程式中的語義快取進行了最佳化。該模型會將句子和段落對應至密集的向量空間中，專門用於識別語意相同但措辭不同的查詢，從而實現可減少多餘 LLM 呼叫並加快大容量推論工作負載內回應時間的智慧型快取命中。

Mellum2-12B-A2.5B-Thinking 在程式碼生成、偵錯、多步驟推理和代理式編碼工作流程方面表現出色。該模型使用混合專家架構 (64 個專家，每個字符啟用 8 個)，每次前向傳遞僅啟用其 120 億個總參數中的 25 億個參數，並具有 131,072 個字符的內容長度。該模型會在提供最終答案之前發出明確的思想鏈推理記錄，提供高輸送量、低延遲推論，非常適合用於路由、RAG、子代理程式和私有部署。

LightOnOCR-2-1B 提供適用於 PDF、掃描和影像的端對端多語言文件到文字轉換，而無需不穩定的 OCR 管道。這個 10 億參數視覺語言模型能夠直接將頁面影像轉換為乾淨、順序自然的文字，在 OlmOCR-Bench 上實現最先進的性能，同時所需大小比其他競爭方法小約 9 倍，而且速度明顯更快。

透過 SageMaker JumpStart，客戶只需點擊幾下，即可部署任何一種模型來滿足其特定 AI 使用案例。

若要開始使用這些模型，請前往 SageMaker 主控台中的 SageMaker JumpStart 模型目錄，或使用 SageMaker Python SDK 將模型部署至您的 AWS 帳戶。如需在 SageMaker JumpStart 中部署與使用基礎模型的詳細資訊，請參閱 Amazon SageMaker JumpStart 文件。