Amazon SageMaker Neo

Trainieren Sie Ihre Modelle einmal und führen Sie sie überall aus – mit bis zu doppelter Leistung

Amazon SageMaker Neo ermöglicht Entwicklern, Machine-Learning-Modelle einmal zu trainieren und sie überall in der Cloud und an der Edge auszuführen. Amazon SageMaker Neo steigert die Leistung der Modelle auf das Doppelte mit weniger als einem Zehntel Speicherbedarf und keinerlei Genauigkeitsverlust.

Entwickler wenden viel Zeit und Energie für die Entwicklung genauer Machine-Learning-Modelle auf, die Prognosen schnell und mit niedriger Latenz in Echtzeit erstellen können. Das ist besonders für Edgegeräte bedeutend, bei denen Speicher und Verarbeitungsleistung zwar sehr beschränkt sind, die Latenz aber sehr wichtig ist. Beispielsweise müssen Sensoren in selbstfahrenden Fahrzeugen Daten normalerweise in einer Millisekunde verarbeiten können, um funktionsfähig zu sein, weshalb ein Rundlauf zur Cloud und zurück nicht möglich ist. Zudem gibt es für Edgegeräte ein breites Spektrum an unterschiedlichen Hardwareplattformen und Prozessorarchitekturen. Um die beste Leistung zu erreichen, verbringen Entwickler Wochen oder Monate damit, ihr Modell auf jedes Gerät abzustimmen. Der komplexe Abstimmungsprozess führt außerdem dazu, dass Modelle, nachdem sie in der Edge installiert wurden, selten aktualisiert werden. Die Entwickler verpassen die Gelegenheit, die Modelle auf Grundlage der von den Edgegeräten gesammelten Daten umzuschulen und zu verbessern.

Amazon SageMaker Neo optimiert Machine-Learning-Modelle automatisch, damit sie bis zu zweifache Geschwindigkeit erreichen, ohne an Genauigkeit zu verlieren. Sie beginnen mit einem Machine-Learning-Modell, das mithilfe von MXNet, TensorFlow, PyTorch oder XGBoost erstellt und mithilfe von Amazon SageMaker trainiert wurde. Dann wählen Sie Ihre Zielhardwareplattform von Intel, Nvidia oder Arm. Mit nur einem Klick kompiliert SageMaker Neo das trainierte Modell dann zu einer ausführbaren Datei. Der Compiler verwendet ein neurales Netzwerk, um alle spezifischen Leistungsoptimierungen festzustellen und anzuwenden, durch die Ihr Modell am effizientesten auf der Zielhardwareplattform ausgeführt wird. Das Modell kann dann dazu eingesetzt werden, um Prognosen in der Cloud oder an der Edge durchzuführen. Die lokale Rechen- und ML-Interferenz-Leistung für die Edge kann mit AWS Greengrass erreicht werden. Um die Bereitstellung der Edge zu vereinfachen, unterstützt AWS Greengrass durch Neo optimierte Modelle, sodass Sie diese direkt an der Edge bereitstellen und kabellos aktualisieren können.

Neo ist auch als Open-Source-Code als Neo-AI-Projekt unter der Apache Software License erhältlich, so dass Entwickler die Software für verschiedene Geräte und Anwendungen anpassen können.

Vorteile

ML-Modelle mit bis zu doppelter Geschwindigkeit ausführen

Amazon SageMaker Neo optimiert Machine-Learning-Modelle von TensorFlow, MXNet, PyTorch und XGBoost automatisch, damit sie bis zu zweifache Geschwindigkeit erreichen, ohne an Genauigkeit zu verlieren. Mithilfe von Deep Learning kann SageMaker Neo Codeoptimierungen für Ihr spezifisches Modell und die Hardware, auf der Sie es bereitstellen möchten, feststellen und anwenden. Durch manuelle Abstimmung erhalten Sie die Leistungsverbesserungen ohne wochenlangen Arbeitsaufwand.



Reduzierung der Frameworkgröße auf ein Zehntel

Amazon SageMaker Neo reduziert die Anzahl der Softwarevorgänge im Framework Ihres Modells auf diejenigen, die für Prognosen erforderlich sind. Dadurch wird üblicherweise der für das Framework erforderliche Arbeitsspeicher auf ein Zehntel reduziert. Modell und Framework werden dann in eine einzige ausführbare Datei kompiliert, die in der Produktion zur Erstellung schneller Prognosen mit niedriger Latenz eingesetzt werden kann. 

Dasselbe ML-Modell auf mehreren Hardwareplattformen

Amazon SageMaker Neo ermöglicht es, das Modell einmal zu trainieren und es dann nahezu überall mit einer einzigen ausführbaren Datei einzusetzen. Neo kann Modelle für Prozessorarchitekturen von Intel, Nvidia, Arm, Cadence, Qualcomm und Xilinx automatisch optimieren, wodurch die das Modell ganz einfach mit wenigen Klicks in der Amazon SageMaker-Konsole für mehrere Plattformen vorbereitet werden kann. 

Funktionsweise

Product-Page-Diagram_Neo-How-it-Works

Wichtigste Funktionen

Verwenden Sie das Deep-Learning-Framework Ihrer Wahl

Amazon SageMaker Neo konvertiert die Framework-spezifischen Funktionen und Vorgänge für TensorFlow, MXNet und PyTorch in eine einzelne, kompilierte ausführbare Datei, die überall eingesetzt werden kann. Neo kompiliert und erstellt den erforderlichen Softwarecode automatisch.

Einfache und effiziente Softwarebedienung

Amazon SageMaker Neo erstellt eine ausführbare Datei, die in Cloud-Instances und Edgegeräten bereitgestellt wird. Die Neo-Runtime reduziert die Ressourcennutzung, z. B. den Speicher der Bereitstellungsplattform, um das Zehnfache und macht von Frameworks unabhängig. Beispielsweise benötigt die Neo-Runtime nur 2,5 MB Speicherplatz, während Framework-abhängige Bereitstellungen bis zu 1 GB Speicherplatz benötigen.

Open-Source-Software

Neo ist als Open-Source-Code wie das Neo-AI-Projekt unter der Apache Software License verfügbar. Dies ermöglicht Entwicklern und Hardwareherstellern, Anwendungen und Hardwareplattformen individuell anzupassen und von den Techniken zur Optimierung und verringerten Ressourcennutzung von Neo zu profitieren.  

Product-Page_Standard-Icons_01_Product-Features_SqInk
Sehen Sie sich die Funktionen von Amazon SageMaker Neo an

Eine Anleitung zur Verwendung von Amazon SageMaker Neo finden Sie in der Dokumentation.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrieren Sie sich und erhalten Sie ein kostenloses Konto

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Beginnen Sie mit der Entwicklung in der Konsole

Beginnen Sie mit der Entwicklung mit Amazon SageMaker Neo in der AWS-Managementkonsole.

Anmeldung