Amazon EC2 Inf1-Instances

Hohe Leistung und niedrigste Kosten für Machine Learning in der Cloud

Unternehmen aus den unterschiedlichsten Branchen setzen auf KI-gestützte Transformation, um Geschäftsinnovationen voranzutreiben, das Kundenerlebnis zu verbessern und Prozesse zu optimieren. Die Modelle für Machine Learning, die KI-Anwendungen antreiben, werden immer komplexer, was zu steigenden Kosten für die zugrunde liegende Recheninfrastruktur führt. Bis zu 90 % der Infrastrukturausgaben für die Entwicklung und den Betrieb von ML-Anwendungen entfallen häufig auf die Inferenz. Kunden sind auf der Suche nach kostengünstigen Infrastrukturlösungen für den Einsatz ihrer ML-Anwendungen in der Produktion.

Amazon-EC2-Inf1-Instances bieten leistungsstarke ML-Inferenz zu den niedrigsten Kosten in der Cloud. Sie liefern einen bis zu 2,3-fach höheren Durchsatz und bis zu 70 % niedrigere Kosten pro Inferenz als vergleichbare GPU-basierte Amazon-EC2-Instances der aktuellen Generation. Inf1-Instances sind von Grund auf neu entwickelt worden, um Inferenzanwendungen für Machine Learning zu unterstützen. Sie verfügen über bis zu 16 AWS-Inferentia-Chips, leistungsstarke Machine-Learning-Inferenz-Chips, die von AWS entwickelt und gebaut wurden. Außerdem verfügen Inf1-Instances über Intel®-Xeon®-Scalable-Prozessoren der 2. Generation und bis zu 100 Gbit/s Netzwerkfähigkeit, um Inferenzen mit hohem Durchsatz zu liefern.

Kunden können Inf1-Instances nutzen, um groß angelegte Machine-Learning-Inferenzanwendungen wie Suchempfehlungs-Engines, Computervision, Spracherkennung, Verarbeitung natürlicher Sprache, Personalisierung und Betrugserkennung zu den niedrigsten Kosten in der Cloud ausführen.

Entwickler können ihre Machine-Learning-Modelle mithilfe des AWS Neuron SDK, das in gängige Machine-Learning-Frameworks wie TensorFlow, PyTorch und MXNet integriert ist, auf Inf1-Instances anwenden. Sie können weiterhin dieselben ML-Workflows verwenden und Anwendungen nahtlos auf Inf1-Instances migrieren – mit minimalen Code-Änderungen und ohne Bindung an herstellerspezifische Lösungen.

Erste Schritte mit Inf1-Instances mit Amazon SageMaker, AWS-Deep-Learning-AMIs, die mit Neuron SDK vorkonfiguriert sind, oder mit Amazon ECS oder Amazon EKS für containerisierte ML-Anwendungen.

Amazon-EC2-Inf1-Instances basierend auf AWS Inferentia (2:51)

Vorteile

Bis zu 70 % weniger Kosten pro Inferenz

Mit Inf1 können Entwickler die Kosten für ihre Machine-Learning-Produktions-Implementierungen mit den niedrigsten Kosten pro Inferenz in der Cloud erheblich reduzieren. Die Kombination aus niedrigen Instance-Kosten und hohem Durchsatz der Inf1-Instances liefert bis zu 70 % niedrigere Kosten pro Inferenz als vergleichbare GPU-basierte EC2-Instances der aktuellen Generation.

Einfache Nutzung und Code-Übertragbarkeit

Das Neuron SDK ist in gängige Machine-Learning-Frameworks wie TensorFlow, PyTorch und MXNet integriert. Entwickler können weiterhin dieselben ML-Workflows verwenden und ihre Anwendungen nahtlos auf Inf1-Instances migrieren – mit minimalen Code-Änderungen. Dies gibt ihnen die Freiheit, das Machine-Learning-Framework ihrer Wahl und die Rechenplattform zu verwenden, die ihren Anforderungen am besten entspricht, und die neuesten Technologien zu nutzen, ohne an herstellerspezifische Lösungen gebunden zu sein.

Bis zu 2,3x höherer Durchsatz

Inf1-Instances liefern einen bis zu 2,3-fach höheren Durchsatz als vergleichbare GPU-basierte Amazon-EC2-Instances der aktuellen Generation. Die AWS-Inferentia-Chips, die Inf1-Instances antreiben, sind für die Inferenzleistung bei kleinen Stapelgrößen optimiert, sodass Echtzeitanwendungen den Durchsatz maximieren und die Latenzanforderungen erfüllen können.

Äußerst niedrige Latenz

Die AWS-Inferentia-Chips sind mit einem großen On-Chip-Speicher ausgestattet, der das Caching von Machine-Learning-Modellen direkt auf dem Chip selbst ermöglicht. Sie können Ihre Modelle mithilfe von Funktionen wie der NeuronCore-Pipeline bereitstellen, die den Zugriff auf externe Speicherressourcen überflüssig machen. Mit Inf1-Instances können Sie Echtzeit-Inferenzanwendungen mit nahezu Echtzeit-Latenzen einsetzen, ohne die Bandbreite zu beeinträchtigen.

Unterstützung für eine breite Palette von Machine-Learning-Modellen und Datentypen

Inf1-Instances unterstützen viele häufig verwendete Machine-Learning-Modellarchitekturen wie SSD, VGG und ResNext für die Bilderkennung/Klassifikation sowie Transformer und BERT für die Verarbeitung natürlicher Sprache. Zusätzlich bietet der Support für das HuggingFace-Modell-Repository in Neuron den Kunden die Möglichkeit, die vortrainierten Modelle zu kompilieren und die Inferenz auszuführen – oder sogar feinabgestimmte Modelle, einfach durch die Änderung einer einzigen Codezeile. Außerdem werden auch mehrere Datentypen wie BF16 und FP16 mit gemischter Präzision für eine Vielzahl von Modellen und Leistungsanforderungen unterstützt.

Funktionen

Powered By AWS Inferentia

AWS Inferentia ist ein Machine Learning-Chip, der von AWS entwickelt und gebaut wurde, um hohe Inferenzleistung zu niedrigen Kosten zu liefern. Jeder AWS Inferentia-Chip bietet eine Leistung von bis zu 128 TOPS (Trillions of Operations Per Second, Billionen Vorgänge pro Sekunde) und Unterstützung für FP16-, BF16- und INT8-Datentypen. AWS Inferentia-Chips verfügen auch über einen großen On-Chip-Speicher, der für das Caching umfangreicher Modelle verwendet werden kann, was besonders bei Modellen mit häufigen Speicherzugriffen vorteilhaft ist.

Das AWS Neuron Software Development Kit (SDK) umfasst einen Compiler, einen Laufzeittreiber und Profilerstellungs-Tools. Es ermöglicht den Einsatz von komplexer neuronaler Netzmodelle, die in gängigen Frameworks wie TensorFlow, PyTorch und MXNet erstellt und geschult wurden, unter Verwendung von Inf1-Instances. Mit der NeuronCore-Pipeline von Neuron können Sie große Modelle zur Ausführung auf mehrere Inferentia-Chips aufteilen, indem eine sehr schnelle physikalische Chip-to-Chip-Interconnect verwendet wird. Dadurch werden ein hoher Inferenzdurchsatz und niedrigere Inferenzkosten erreicht.

Hochleistungsnetzwerk und -speicher

Inf1-Instances bieten einen Netzwerkdurchsatz von bis zu 100 Gbit/s für Anwendungen, die Zugang zu Hochgeschwindigkeitsnetzwerken benötigen. ENA-(Elastic Network Adapter-) und NVMe-(NVM Express-)Technologie der nächsten Generation bieten Inf1-Instances mit Schnittstellen mit hohem Durchsatz und geringer Latenz für Netzwerke und Amazon Elastic Block Store (Amazon EBS).

Baut auf dem AWS Nitro System auf

Das AWS Nitro-System ist eine umfangreiche Sammlung von Modulbausteinen, die viele der herkömmlichen Virtualisierungsfunktionen auf spezielle Hard- und Software auslagern, sodass hohe Leistung, Verfügbarkeit und Sicherheit bei gleichzeitig geringerem Virtualisierungsaufwand gewährleistet werden.

Funktionsweise

Verwendungsweise von Inf1 und AWS Inferentia

Erfahrungen von Kunden

SkyWatch
"Bungee Tech ermöglicht es Einzelhändlern und Marken, in einer sich ständig verändernden Landschaft effektiv zu konkurrieren, indem es Millionen von Produkten weltweit analysiert, um hochmoderne Marktintelligenzdaten mit Best-in-Class-Analysen bereitzustellen. Unsere Analysen sind so konzipiert, dass sie präzise, umsetzbar und pünktlich sind, um unseren Kunden einen einzigartigen Wettbewerbsvorteil zu verschaffen. Wir haben unsere NLP-Inferenz-Workloads mit hohem Durchsatz von GPU-basierten Instances auf Amazon-EC2-Inf1-Instances migriert. Die Optimierung unserer Modelle für die Ausführung von Inf1-Instances war einfach und erforderte etwa einen Tag für die Einrichtung und Automatisierung durch einen Ingenieur. Durch die Möglichkeit, größere und genauere Modelle auszuführen, ohne unsere Kosten zu erhöhen, ermöglichten uns die Inf1-Instances, unseren Kunden ein erstklassiges Erlebnis zu bieten."

Charles Ding, CTO, Bungee Tech

SkyWatch
"Wir integrieren Machine Learning (ML) in viele Aspekte von Snapchat, und die Erforschung von Innovationen in diesem Bereich ist eine Schlüsselpriorität. Als wir von Inferentia hörten, begannen wir, mit AWS zusammenzuarbeiten, um Inf1/Inferentia Instances einzuführen, die uns bei der Bereitstellung von ML helfen sollten, auch im Hinblick auf Leistung und Kosten. Wir haben mit unseren Empfehlungsmodellen begonnen und freuen uns darauf, in Zukunft weitere Modelle mit den Inf1-Instances einzuführen."

Nima Khajehnouri, VP Engineering, Snap Inc.

Anthem
„Autodesk treibt die kognitive Technologie unseres KI-gestützten virtuellen Assistenten, Autodesk Virtual Agent (AVA), mit Hilfe von Inferentia voran.“ AVA beantwortet mehr als 100.000 Kundenfragen pro Monat durch Anwendung von natürlichem Sprachverständnis (NLU) und Deep Learning-Techniken, um den Kontext, die Absicht und die Bedeutung hinter den Anfragen zu extrahieren. Durch die Pilotierung von Inferentia sind wir in der Lage, einen 4,9-fach höheren Durchsatz als G4dn für unsere NLU-Modelle zu erzielen, und wir freuen uns darauf, mehr Workloads auf den Inferentia-basierten Inf1-Instances auszuführen."

Binghui Ouyang, Sr. Daten-Wissenschaftler, Autodesk

Anthem
Anthem ist eines der führenden Unternehmen der Nation im Bereich der Gesundheitsfürsorge, das die Bedürfnisse von über 40 Millionen Mitgliedern in Dutzenden von Bundesstaaten erfüllt. "Der Markt der digitalen Gesundheitsplattformen wächst mit einer bemerkenswerten Geschwindigkeit. Das Sammeln von Informationen über diesen Markt ist aufgrund der riesigen Menge an Kundenmeinungsdaten und seiner unstrukturierten Natur eine schwierige Aufgabe. Unsere Anwendung automatisiert die Generierung von handlungsrelevanten Erkenntnissen aus Kundenmeinungen über natürlichsprachliche Deep Learning-Modelle (Transformers). Unsere Anwendung ist rechenintensiv und muss hochleistungsfähig bereitgestellt werden. Wir stellten unser Deep Learning-Inferencing Workload nahtlos auf Amazon EC2 Inf1-Instances zur Verfügung, die mit dem AWS Inferentia Prozessor betrieben werden. Die neuen Inf1-Instances bieten einen 2-fach höheren Durchsatz für GPU-basierte Instances und ermöglichten es uns, unsere Inferenz-Workloads zu rationalisieren."

Numan Laanait, PhD, leitender KI/Datenwissenschaftler & Miro Mihaylov, PhD, leitender KI/Daten-Wissenschaftler

Condé Nast
„Das globale Portfolio von Condé Nast umfasst über 20 führende Medienmarken, darunter Wired, Vogue und Vanity Fair. Innerhalb weniger Wochen war unser Team in der Lage, unseren Empfehlungs-Engine mit AWS Inferentia-Chips zu integrieren. Diese Kombination ermöglicht mehrere Laufzeitoptimierungen für modernste natürliche Sprachmodelle auf den Inf1-Instances von SageMaker. Infolgedessen konnten wir eine 72%ige Kostenreduzierung im Vergleich zu den zuvor bereitgestellten GPU-Instances feststellen."

Paul Fryzel, Principal Engineer, AI Infrastructure

Asahi Shimbun
„Ciao entwickelt herkömmliche Überwachungskameras zu Hochleistungs-Analysekameras, die der Leistungsfähigkeit eines menschlichen Auges entsprechen. Unsere Anwendung verbessert den Katastrophenschutz und überwacht die Umgebungsbedingungen mithilfe von cloudbasierten KI-Kameralösungen, um zu warnen, bevor es zu einer Katastrophe wird. Ein solcher Alarm ermöglicht es, vorher auf die Situation zu reagieren. Basierend auf der Objekterkennung können wir auch Einblicke gewähren, indem wir die Anzahl der ankommenden Gäste ohne Mitarbeiter anhand von Videos in stationären Geschäften schätzen. Ciao Camera hat AWS Inferentia-basierte Inf1-Instances mit 40 % besserer Preisleistung als G4dn mit YOLOv4 kommerziell übernommen. Wir freuen uns auf weitere Dienstleistungen, bei denen Inf1 seine erhebliche Kosteneffizienz nutzt.“

Shinji Matsumoto, Software Engineer, Ciao Inc.

Asahi Shimbun
"Der Asahi Shimbun ist eine der beliebtesten Tageszeitungen in Japan. Das Media Lab, das als eine der Abteilungen unseres Unternehmens eingerichtet wurde, hat die Aufgabe, die neuesten Technologien, insbesondere KI, zu erforschen und die Spitzentechnologien für neue Unternehmen zu verbinden. Mit der Einführung der auf AWS Inferentia basierenden Amazon EC2 Inf1 Instances in Tokio testeten wir unsere auf PyTorch basierende Anwendung zur Textzusammenfassungs-KI an diesen Instances. Diese Anwendung verarbeitet eine große Menge an Text und erzeugt Überschriften und zusammenfassende Sätze, die auf Artikeln aus den letzten 30 Jahren trainiert wurden. Mit Inferentia konnten wir die Kosten im Vergleich zu CPU-basierten Instances um eine Größenordnung senken. Diese dramatische Kostenreduzierung wird es uns ermöglichen, unsere komplexesten Modelle im Maßstab bereitzustellen, was wir bisher für wirtschaftlich nicht machbar hielten."

Hideaki Tamori, PhD, Leitender Verwalter, Media Lab, The Asahi Shimbun Company

CS Disco
„CS Disco erfindet als führender Anbieter von KI-Lösungen für E-Discovery, die von Juristen für Juristen entwickelt wurden, die Rechtstechnologie neu. Disco AI beschleunigt die undankbare Aufgabe, Terabytes von Daten zu durchforsten, die Überprüfungszeiten zu verkürzen und die Überprüfungsgenauigkeit zu verbessern, indem komplexe Modelle zur Verarbeitung natürlicher Sprache genutzt werden, die rechenaufwändig und kostenintensiv sind. Disco hat festgestellt, dass auf AWS Inferentia basierende Inf1-Instances die Kosten der Inferenz in Disco AI um mindestens 35 % im Vergleich zu den heutigen GPU-Instances reduzieren. Basierend auf diesen positiven Erfahrungen mit Inf1-Instances wird CS Disco die Möglichkeiten für eine Migration nach Inferentia untersuchen.“

Alan Lockett, Sr. Director of Research bei CS Disco

Talroo
"Bei Talroo stellen wir unseren Kunden eine datengesteuerte Plattform zur Verfügung, die es ihnen ermöglicht, einzigartige Stellenbewerber anzuziehen, so dass sie Einstellungen vornehmen können. Wir erforschen ständig neue Technologien, um sicherzustellen, dass wir unseren Kunden die besten Produkte und Services anbieten. Mit Inferentia extrahieren wir Erkenntnisse aus einem Korpus von Textdaten, um unsere KI-gestützte Such- und Match-Technologie zu verbessern. Talroo nutzt Amazon EC2 Inf1 Instances von Amazon EC2, um mit SageMaker Modelle zum Verstehen natürlicher Sprache mit hohem Durchsatz zu erstellen. Die ersten Tests von Talroo zeigen, dass die Amazon EC2 Inf1 Instances von Amazon EC2 im Vergleich zu G4dn GPU-basierten Instances eine 40 % geringere Inferenzlatenz und einen 2-fach höheren Durchsatz liefern. Basierend auf diesen Ergebnissen freut sich Talroo darauf, Amazon EC2 Inf1 Instances als Teil seiner AWS Infrastruktur zu nutzen."

Janet Hu, Software Engineer, Talroo

Digital Media Professionals (DMP)
Digital Media Professionals (DMP) visualisiert die Zukunft mit einer auf KI (Künstliche Intelligenz) basierenden ZIA™-Plattform. Die effizienten Computer Vision-Klassifikationstechnologien von DMP werden eingesetzt, um auf der Grundlage großer Mengen von Echtzeit-Bilddaten Erkenntnisse zu gewinnen, z. B. bei der Zustandsbeobachtung, der Kriminalitäts- und Unfallprävention. Wir haben festgestellt, dass unsere Bildsegmentierungsmodelle auf AWS Inferentia-basierten Inf1-Instances viermal schneller ausgeführt werden als auf GPU-basierten G4-Instances. Aufgrund dieses höheren Durchsatzes und der geringeren Kosten können wir mit Inferentia unsere KI-Workloads wie Anwendungen für Auto-Dashcams in großem Maßstab bereitstellen.“

Hiroyuki Umeda – Direktor & Generaldirektor, Verkaufs- & Marketinggruppe, Fachleute für digitale Medien

Hotpot.ai
Hotpot.ai versetzt Nicht-Designer in die Lage, attraktive Grafiken zu erstellen, und hilft professionellen Designern bei der Automatisierung von Routineaufgaben. "Da Machine Learning der Kern unserer Strategie ist, waren wir begeistert, AWS Inferentia-basierte Inf1-Instances auszuprobieren. Wir fanden die Inf1-Instances leicht in unsere Forschungs- und Entwicklungspipeline zu integrieren. Am wichtigsten ist, dass wir im Vergleich zu den G4dn GPU-basierten Instances beeindruckende Leistungssteigerungen beobachten konnten. Mit unserem ersten Modell erbrachten die Inf1-Instances einen etwa 45 % höheren Durchsatz und verringerten die Kosten pro Inferenz um fast 50 %. Wir beabsichtigen, eng mit dem AWS Team zusammenzuarbeiten, um andere Modelle zu portieren und den größten Teil unserer ML Inferenz-Infrastruktur auf AWS Inferentia umzustellen."

Clarence Hu, Gründer, Hotpot.ai

SkyWatch
„SkyWatch verarbeitet Hunderte von Billionen von Pixeln an Erdbeobachtungsdaten, die täglich aus dem Weltraum aufgenommen werden.“ Die Einführung der neuen AWS Inferentia-basierten Inf1-Instances auf Basis von Amazon SageMaker zur Wolkenerkennung in Echtzeit und Bewertung der Bildqualität ging schnell und einfach vonstatten. Es war alles eine Frage der Umstellung des Instance-Typs in unserer Bereitstellungskonfiguration. Durch die Umstellung der Instance-Typen auf Inferentia-basiertes Inf1 haben wir die Leistung um 40 % verbessert und die Gesamtkosten um 23 % gesenkt. Das ist ein großer Gewinn. Es hat uns in die Lage versetzt, unsere Gesamtbetriebskosten zu senken und gleichzeitig unsere Kunden mit minimalem technischen Aufwand weiterhin mit qualitativ hochwertigen Satellitenbilder zu versorgen. Wir freuen uns darauf, alle unsere Inferenzendpunkte und Batch-ML-Prozesse auf die Verwendung von Inf1-Instances umzustellen, um unsere Datenzuverlässigkeit und Kundenerfahrung weiter zu verbessern.“

Adler Santos, Engineering Manager, SkyWatch

Amazon-Services mit Amazon EC2-Inf1-Instances

Amazon Alexa

Über 100 Millionen Alexa-Geräte wurden weltweit verkauft und Kunden haben auch über 400 000 Fünf-Sterne-Bewertungen für Echo-Geräte bei Amazon hinterlassen. „Die KI- und ML-basierte Intelligenz von Amazon Alexa, die von Amazon Web Services unterstützt wird, ist heute auf mehr als 100 Millionen Geräten verfügbar – und unser Versprechen an die Kunden ist, dass Alexa immer intelligenter, gesprächiger, proaktiver und noch reizvoller wird“, sagte Tom Taylor, Senior Vice President, Amazon Alexa. „Um dieses Versprechen zu halten, müssen die Antwortzeiten und die Infrastrukturkosten für Machine Learning kontinuierlich verbessert werden. Deshalb freuen wir uns, Amazon EC2 Inf1 zu nutzen, um die Inferenz-Latenzzeit und die Kosten pro Inferenz bei Alexa Text-to-Speech zu senken. Mit Amazon EC2 Inf1 werden wir in der Lage sein, den Service für die zig Millionen Kunden, die Alexa jeden Monat nutzen, noch besser zu machen.“

Amazon Alexa
"Amazon Rekognition ist eine einfache und leichte Bild- und Videoanalyse-Anwendung, die dem Kunden hilft, Objekte, Personen, Texte und Aktivitäten zu identifizieren. Amazon Rekognition benötigt eine leistungsstarke Infrastruktur für Deep Learning, die täglich Milliarden von Bildern und Videos für unsere Kunden analysieren kann. Bei AWS Inferentia-basierten Inf1 Instances führte die Ausführung von Erkennungsmodellen wie z. B. der Objektklassifikation zu einer 8-mal geringeren Latenz und einem 2-mal geringeren Durchsatz im Vergleich zur Ausführung dieser Modelle auf GPUs. Auf der Grundlage dieser Ergebnisse verlagern wir die Anerkennung auf Inf1, so dass unsere Kunden genaue und schnellere Ergebnisse erhalten können."
 
Rajneesh Singh, Director, SW Engineering, Rekognition and Video

Preise

* Die angegebenen Preise gelten in der AWS-Region USA Ost (Nord-Virginia). Preise für Reserved Instances für 1 Jahr und 3 Jahre gelten für Bezahloptionen mit teilweiser Vorauszahlung oder, im Fall von instances ohne die Option der teilweisen Vorauszahlung, ohne Vorauszahlung.

Amazon EC2-Inf1-Instances sind als On-Demand, Reserved oder Spot-Instances in den AWS Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar.

Erste Schritte

Verwendung von Amazon SageMaker

Amazon SageMaker macht es Ihnen leicht, Ihr geschultes Machine Learning-Modell in der Produktion auf Amazon Inf1-Instances zu kompilieren und bereitzustellen, damit Sie mit der Generierung von Echtzeit-Prognosen mit niedriger Latenz beginnen können. AWS Neuron ist der Compiler für AWS Inferentia und bereits in Amazon SageMaker Neo integriert, sodass Sie Ihre geschulten Machine Learning-Modelle so kompilieren können, dass sie auf Inf1-Instances optimal ausgeführt werden. Mit Amazon SageMaker können Sie Ihre Modelle problemlos auf Auto Scaling-Clustern von Inf1-Instances, die über mehrere Availability Zones verteilt sind, ausführen lassen, um sowohl höchste Leistungen als auch Echtzeit-Inferences mit höchster Verfügbarkeit zu gewährleisten. Lernen Sie mit Beispielen auf Github, wie man mit Amazon SageMaker für Inf1 bereitstellt.

Verwendung von AWS Deep Learning-AMIs

Mit den AWS Deep Learning AMIs (DLAMI) erhalten ML-Nutzer und Wissenschaftler die Infrastruktur und Tools, um Deep-Learning-Arbeiten beliebiger Größenordnungen in der Cloud zu beschleunigen. Das AWS Neuron SDK ist in AWS Deep Learning-AMIs vorinstalliert, um Ihre Machine Learning-Modelle optimal auf Inf1-Instances zu kompilieren und auszuführen. Sehen Sie sich den AMI-Auswahlleitfaden und weitere Deep-Learning-Ressourcen an, um in die Materie einzutauchen. Im Handbuch zu den ersten Schritten mit AWS DLAMI erfahren Sie, wie das DLAMI mit Neuron verwendet wird.

Verwendung von Deep Learning-Containern

Entwickler können jetzt Inf1-Instanzen in Amazon Elastic Kubernetes Service (EKS), einem vollständig verwalteten Kubernetes-Service, sowie in Amazon Elastic Container Service (ECS), einem vollständig verwalteten Container-Orchestrierungsdienst von Amazon, bereitstellen. Erfahren Sie mehr über die ersten Schritte mit Inf1 in Amazon EKS oder mit Amazon ECS. Weitere Einzelheiten zum Ausführen von Containern auf Inf1-Instances finden Sie auf der Tutorial-Seite für Neuron-Container-Tools. Neuron ist auch vorinstalliert in AWS DL-Containern verfügbar.