Modelle langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking und LightOnOCR-2-1B jetzt auf Amazon SageMaker JumpStart verfügbar
Die Modelle langcache-embed-v3-small von Redis, Mellum2-12B-A2.5B-Thinking von JetBrains und LightOnOCR-2-1B von LightOn sind jetzt auf Amazon SageMaker JumpStart verfügbar und erweitern damit das Portfolio an Basismodellen, das AWS-Kunden zur Verfügung steht. Diese drei Modelle bieten spezielle Funktionen, die semantische Caching-Optimierung, codeorientiertes Reasoning und durchgängige Dokument-OCR umfassen, sodass Kunden leistungsstarke, skalierbare KI-Lösungen auf AWS-Infrastruktur bereitstellen können.
langcache-embed-v3-small ist für das semantische Caching in LLM-Anwendungen optimiert. Es ordnet Sätze und Absätze einem Dense-Vektorraum zu, der speziell für die Identifizierung semantisch äquivalenter Abfragen unabhängig von der Formulierung entwickelt wurde. Dadurch werden intelligente Cache-Treffer ermöglicht, die redundante LLM-Aufrufe reduzieren und die Antwortzeiten bei Inferenz-Workloads mit hohem Volumen verkürzen.
Mellum2-12B-A2.5B-Thinking zeichnet sich durch Codegenerierung, Debugging, mehrstufiges Reasoning und agentenbasierte Codierungsworkflows aus. Es verwendet eine Mixture-of-Experts-Architektur (64 Experten, 8 aktivierte pro Token) und aktiviert nur 2,5 seiner insgesamt 12 Milliarden Parameter pro Vorwärtsweiterleitung mit einer Kontextlänge von 131.072 Token. Es gibt explizite Reasoning-Traces vor den endgültigen Antworten aus und liefert Inferenzen mit hohem Durchsatz und niedriger Latenz, die sich ideal für Routing, RAG, Subagenten und private Bereitstellungen eignen.
LightOnOCR-2-1B bietet eine durchgängige mehrsprachige Konvertierung von Dokumenten in Text für PDFs, Scans und Bilder ohne anfällige OCR-Pipelines. Dieses Vision-Sprachmodell mit 1 Milliarde Parametern wandelt Seitenbilder direkt in sauberen, natürlich geordneten Text um und erreicht auf OlmOCR-Bench eine Leistung auf dem neuesten Stand der Technik, ist aber ~neunmal kleiner und deutlich schneller als Ansätze von Wettbewerbern.
Mit SageMaker JumpStart können Kunden jedes dieser Modelle mit nur wenigen Klicks für ihre spezifischen KI-Anwendungsfälle bereitstellen.
Um mit diesen Modellen zu beginnen, navigieren Sie in der SageMaker-Konsole zum SageMaker JumpStart-Modellkatalog oder nutzen Sie das SageMaker-Python-SDK, um die Modelle in Ihrem AWS-Konto bereitzustellen. Weitere Informationen zur Bereitstellung und Verwendung von Foundation-Modellen in SageMaker JumpStart finden Sie in der Dokumentation zu Amazon SageMaker JumpStart.