NVIDIA Nemotron 3 Nano jetzt auf Amazon Bedrock
Amazon Bedrock unterstützt jetzt das Modell NVIDIA Nemotron 3 Nano 30B A3B, NVIDIAs neuesten Durchbruch in der effizienten Sprachmodellierung, der eine hohe Rechenleistung, native Unterstützung für Tool-Aufrufe und erweiterte Kontextverarbeitung mit einem 256.000 Token großen Kontextfenster bietet. Das Modell verwendet eine effiziente hybride MoE-Architektur (Mixture-of-Experts), um bei Agenten- und Programmierworkloads einen höheren Durchsatz als seine Vorgänger zu erreichen und gleichzeitig die Argumentationstiefe eines größeren Modells beizubehalten. Mit expliziten Optionen zur Argumentationssteuerung und einer höheren Genauigkeit, die durch fortschrittliche Reinforcement-Learning-Techniken und umfangreiche Nachtrainings für mehrere Umgebungen ermöglicht wird, ist dieses Modell ideal für Unternehmen, Startups und einzelne Entwickler, die Multi-Agenten-Workflows, Produktivitätstools für Entwickler, Prozessautomatisierung und für die wissenschaftliche und mathematische Argumentationsanalyse entwickeln.
NVIDIA Nemotron 3 Nano auf Amazon Bedrock wird von Project Mantle unterstützt, einer neuen verteilten Inferenz-Engine für groß angelegte Machine-Learning-Modelle, die auf Amazon Bedrock bereitgestellt werden. Project Mantle vereinfacht und beschleunigt das Onboarding neuer Modelle auf Amazon Bedrock. Es bietet hochleistungsfähige und zuverlässige serverlose Inferenz mit ausgeklügelten Qualitätskontrollen und ermöglicht höhere Standardkundenkontingente mit automatisiertem Kapazitätsmanagement und vereinheitlichten Pools. Zudem bietet es sofort einsatzbereite Kompatibilität mit OpenAI-API-Spezifikationen.
NVIDIA Nemotron 3 Nano ist ab sofort auf Amazon Bedrock in den AWS-Regionen USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Asien-Pazifik (Tokio), Asien-Pazifik (Mumbai), Südamerika (Sao Paulo), Europa (London) und Europa (Mailand) verfügbar und unterstützt sowohl vereinheitlichte als auch OpenAI API-kompatible Service-Endpunkte auf Amazon Bedrock. Um mehr zu erfahren und loszulegen, besuchen Sie die Amazon-Bedrock-Konsole oder lesen Sie die Servicedokumentation. Informationen zu den ersten Schritten mit Amazon-Bedrock-OpenAI-API-kompatiblen Service-Endpunkten finden Sie in der Dokumentation.