AWS Inferentia

Hochleistungsfähiger Inferenzchip für Machine Learning, eigens von AWS entwickelt

Die Nachfrage nach schnellerem Deep Learning nimmt rasant zu und wird immer vielseitiger. Anwendungen wie personalisierte Suchempfehlungen, dynamische Preise oder automatisierter Kundenservice werden immer ausgereifter und in der Produktion stets teurer. Da sich immer mehr Anwendungen Machine Learning zunutze machen, muss ein größerer Anteil an Workloads beschleunigt werden, einschließlich jener mit hohen Latenz- und Leistungsanforderungen. Diese Anwendungen profitieren von einer Infrastruktur, die für das Ausführen von Machine-Learning-Algorithmen optimiert ist.

AWS möchte Deep Learning allen Entwicklern zugänglich machen und den Zugriff auf modernste Hardware allgemein und zu geringen, verbrauchsbasierten Kosten anbieten. AWS Inferentia ist ein großer Schritt hin zu diesem Ziel. AWS Inferentia soll hohe Inferenzleistung per Cloud bereitstellen, die Gesamtkosten für Inferenz senken und die standardmäßige Integration von Machine Learning in die Funktionen Ihrer Anwendungen vereinfachen.

AWS Inferentia

Vorteile

Hohe Leistung

Jeder AWS Inferentia-Chip unterstützt bis zu 128 TOPS (Trillions of Operations Per Second, Billionen Operationen pro Sekunde) bei geringerer Leistungsaufnahme, um mehrere Chips pro EC2-Instance einsetzen zu können. AWS Inferentia unterstützt die Datentypen FP16, BF16 und INT8. Außerdem kann Inferentia ein trainiertes 32-Bit-Modell per BFloat16 mit der Geschwindigkeit eines 16-Bit-Modells ausführen.

Niedrige Latenz

AWS Inferentia verfügt über eine große Menge an On-Chip-Speicher, der für das Caching umfangreicher Modelle verwendet werden kann, wodurch die Notwendigkeit entfällt, sie außerhalb des Chips zu speichern. Die Latenz bei der Inferenz wird so deutlich gesenkt, da die Verarbeitungskerne von Inferentia – die Neuron Cores – Hochgeschwindigkeitszugriff auf Modelle haben und nicht durch die Off-Chip-Speicherbandbreite limitiert sind.

Einfache Nutzung

AWS Inferentia enthält das AWS Neuron-SDK (Software Development Kit), das komplexe Modelle neuronaler Netze ermöglicht, die in gängigen Frameworks erstellt und trainiert wurden und auf AWS-Inferentia-basierten EC2 Inf1-Instances ausgeführt werden sollen. Neuron umfasst einen Compiler, eine Laufzeit und Profilerstellungstools und ist in gängige Machine-Learning-Frameworks wie TensorFlow, Pytorch und MXNet bereits integriert, um eine optimale Leistung der EC2 Inf1-Instances zu gewährleisten.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrieren Sie sich und erhalten Sie ein kostenloses Konto

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Entwicklung in der Konsole – Erste Schritte

Lernen Sie mehr über Machine Learning in der AWS-Konsole.

Anmeldung