langcache-embed-v3-small、Mellum2-12B-A2.5B-Thinking、LightOnOCR-2-1B の各モデルが Amazon SageMaker JumpStart で利用可能に
Redis の langcache-embed-v3-small、JetBrains の Mellum2-12B-A2.5B-Thinking、LightOn の LightOnOCR-2-1B の各モデルが Amazon SageMaker JumpStart で利用できるようになり、AWS のお客様が利用できる基盤モデルのポートフォリオが拡大しました。これら 3 つのモデルには、セマンティックキャッシュの最適化、コードに特化した推論、エンドツーエンドのドキュメント OCR などの専門的な機能が備わっており、お客様はハイパフォーマンスでスケーラブルな AI ソリューションを AWS インフラストラクチャ上でデプロイできます。
langcache-embed-v3-small は、LLM アプリケーションでのセマンティックキャッシュ向けに最適化されています。このモデルでは、文や段落を、表現方法に関係なく意味的に同等のクエリを識別するために専用設計された密なベクトル空間にマッピングします。これにより、インテリジェントなキャッシュヒットが可能になり、LLM の重複した呼び出しを減らし、大量の推論を処理するワークロードで応答時間を短縮できます。
Mellum2-12B-A2.5B-Thinking は、コード生成、デバッグ、複数ステップの推論、エージェンティックコーディングのワークフローに優れています。Mixture-of-Experts アーキテクチャ (64 個のエキスパート、トークンごとに 8 個をアクティブ化) を採用しています。131,072 トークンのコンテキスト長に対応し、フォワードパスごとに合計 120 億個のパラメータのうち 25 億個のみがアクティブ化されます。最終的な回答を出す前に明示的な思考連鎖の推論トレースを出力し、高スループットかつ低レイテンシーで推論できます。そのため、ルーティング、検索拡張生成 (RAG)、サブエージェント、プライベートデプロイに適しています。
LightOnOCR-2-1B を使用すると、不安定になりがちな OCR パイプラインを使用せずに、PDF、スキャン、画像形式の多言語ドキュメントをテキストにエンドツーエンドで変換できます。この 10 億パラメータのビジョン言語モデルでは、ページ画像をクリーンで自然な順序のテキストに直接変換できます。競合するアプローチと比べて約 9 分の 1 のサイズで大幅に高速でありながら、OlmOCR-Bench で最先端のパフォーマンスを達成しています。
SageMaker JumpStart を使用すると、お客様は数回クリックするだけでこれらのモデルをデプロイし、特定の AI ユースケースに対応できます。
これらのモデルの使用を開始するには、SageMaker コンソールの SageMaker JumpStart モデルカタログにアクセスするか、SageMaker Python SDK を使用して AWS アカウントにモデルをデプロイしてください。SageMaker JumpStart での基盤モデルのデプロイと使用方法の詳細については、Amazon SageMaker JumpStart のドキュメントをご覧ください。