Modell NVIDIA Nemotron 3.5 Lightning jetzt auf Amazon SageMaker JumpStart verfügbar
Das Modell Nemotron 3.5 Lightning von NVIDIA ist jetzt auf Amazon SageMaker JumpStart verfügbar und bietet AWS-Kunden Zugriff auf das schnellste offene Modell seiner Klasse für persistente Agenten-Workloads und schnelle Aufgabenausführung.
Nemotron 3.5 Lightning wurde für persistente Agenten und Unternehmensautomatisierung mit hohem Durchsatz in Bereichen wie persönliche Assistenten, Verarbeitung von Finanzdokumenten, Cybersicherheits-Triage und Telekommunikationsbetrieb entwickelt. Es basiert auf einer hybriden Mixture-of-Experts (MoE)-Architektur mit insgesamt 30 Milliarden Parametern und nur 3 Milliarden aktiven pro Vorwärtsweiterleitung. Es erreicht einen bis zu viermal höheren Durchsatz (~410 Token/Sekunde) und eine um 30 % schnellere Aufgabenerledigung als vergleichbare Modelle. Es basiert auf Nemotron 3 Ultra, verarbeitet bis zu 1 Million Kontext-Tokens über spekulative DFlash-Dekodierung und lässt sich direkt in gängige Agent-Harnesses integrieren. Das Modell wurde vollständig offen anhand offener Datensätze trainiert, sodass Unternehmen es im Nachhinein für ihre eigenen Tools, Workflows und Richtlinien trainieren und die Implementierung vollständig eigenverantwortlich in der gesamten Edge-, On-Premises- oder Cloud-Infrastruktur durchführen können.
Mit SageMaker JumpStart können Kunden dieses Modell mit wenigen Klicks bereitstellen, um ihre spezifischen KI-Workloads zu unterstützen.
Um mit diesen Modellen zu beginnen, navigieren Sie in der SageMaker-Konsole zum SageMaker JumpStart-Modellkatalog oder nutzen Sie das SageMaker-Python-SDK, um die Modelle in Ihrem AWS-Konto bereitzustellen. Weitere Informationen zur Bereitstellung und Verwendung von Foundation-Modellen in SageMaker JumpStart finden Sie in der Dokumentation zu Amazon SageMaker JumpStart.