Modelle Gemma-4-31B-it-sssistant und Gemma-4-31B-IT-NVFP4 jetzt auf Amazon SageMaker JumpStart verfügbar
Die Modelle Gemma-4-31B-it-assistant von Google DeepMind und Gemma-4-31B-IT-NVFP4 von NVIDIA sind jetzt auf Amazon SageMaker JumpStart verfügbar und erweitern damit das Portfolio an Foundation-Modellen, die AWS-Kunden zur Verfügung stehen. Diese beiden Modelle bieten die Flaggschiff-Architektur Gemma 4 31B mit hoher Dichte für Unternehmens-Workloads sowohl in voller Präzision als auch in optimierter quantisierter Variante, sodass Kunden leistungsstarke, skalierbare KI-Lösungen auf der AWS-Infrastruktur bereitstellen können.
Diese Modelle adressieren verschiedene Herausforderungen an Unternehmens-KI mit speziellen Funktionen:
Gemma-4-31B-it-assistant wurde für multimodales Reasoning, Programmieren und agentenbasierte Workflows als auf Assistenten abgestimmte Variante des Flaggschiffmodells 31B von Google mit hoher Dichte entwickelt. Es verarbeitet Text- und Bildeingaben (einschließlich Video als Frame-Sequenzen) und generiert Text-Output mit einem 256K-Token-Kontextfenster und Unterstützung für über 140 Sprachen. Es rangiert auf Platz 3 der offenen Modelle in der Arena-KI-Text-Bestenliste und übertrifft damit Modelle um das 20-fache seiner Größe. Es verfügt über einen hybriden Aufmerksamkeitsmechanismus, der lokale Schiebefenster miteinander verbindet und volle globale Aufmerksamkeit mit nativen Funktionen zur Entwicklung autonomer Agenten ermöglicht.
Gemma-4-31B-IT-NVFP4 bietet dieselben Gemma 4 31B-Funktionen bei einem Bruchteil des Speicherbedarfs. Mit dem ModelOpt-Framework von NVIDIA auf 4-Bit-FP4-Präzision quantisiert, reduziert es die Speicherauslastung auf ~18,5 GB (68 % kleiner als das Basismodell) und erreicht eine etwa 2,5-mal schnellere Inferenz, während 97–99 % der Qualität des Originalmodells beibehalten wird. Ideal für kosteneffiziente Produktionsbereitstellungen mit hohem Durchsatz auf NVIDIA RTX-, DGX Spark- und Rechenzentrums-GPUs.
Mit SageMaker JumpStart können Kunden jedes dieser Modelle mit nur wenigen Klicks für ihre spezifischen KI-Anwendungsfälle bereitstellen.
Um mit diesen Modellen zu beginnen, navigieren Sie in der SageMaker-Konsole zum SageMaker JumpStart-Modellkatalog oder nutzen Sie das SageMaker-Python-SDK, um die Modelle in Ihrem AWS-Konto bereitzustellen. Weitere Informationen zur Bereitstellung und Verwendung von Foundation-Modellen in SageMaker JumpStart finden Sie in der Dokumentation zu Amazon SageMaker JumpStart.