Veröffentlicht am: Apr 22, 2020
Amazon SageMaker-Kunden können jetzt Inf1-Instances auswählen, wenn sie ihre Machine Learning-Modelle für Echtzeit-Inferenzen bereitstellen. Amazon SageMaker ist ein vollständig verwalteter Service, der es Entwicklern und Datenwissenschaftlern ermöglicht, schnell und einfach Machine Learning-Modelle jeder Größenordnung zu entwickeln, zu schulen und bereitzustellen. Die Verwendung von Inf1-Instances auf Amazon SageMaker lässt Kunden groß angelegte Inferenzanwendungen für Machine Learning und Deep Learning wie Bilderkennung, Spracherkennung, Verarbeitung natürlicher Sprache, Personalisierung, Prognosen und Betrugserkennung mit hoher Leistung und deutlich niedrigeren Kosten ausführen.
Inf1-Instances sind von Grund auf neu entwickelt worden, um Inferenzanwendungen für Machine Learning zu unterstützen und sie verfügen über bis zu 16 AWS Inferentia-Chips. Dabei handelt es sich um Machine Learning-Chips, die von AWS entwickelt wurden, um die Kosten für Deep Learning-Inferenzen zu optimieren. Die Inferentia-Chips sind mit den neuesten kundenspezifischen Intel® Xeon® Scalable-Prozessoren der zweiten Generation und bis zu 100 Gbit/s Networking verbunden, um eine hohe Leistung und die niedrigsten Kosten der Branche für ML-Inferenzanwendungen zu bieten. Mit 1 bis 16 AWS Inferentia-Chips je Instance können Inf1-Instances in ihrer Leistung bis zu 2000 Tera Operations pro Sekunde (TOPS) skalieren. Außerdem bieten sie im Vergleich zu den auf AWS GPU basierenden Instances einen bis zu 3x höheren Durchsatz und senken die Kosten pro Inferenz um bis zu 45%. Der große On-Chip-Speicher auf AWS Inferentia-Chips, die in Inf1-Instances verwendet werden, ermöglicht das Caching von Machine Learning-Modellen direkt auf dem Chip. Dadurch wird ein Zugriff auf externe Speicherressourcen während der Inferenz vermieden und es wird eine geringe Latenz sowie ein niedriger Inferenzdurchsatz ermöglicht. Weitere Informationen zu Inf1-Instances finden Sie auf den Produktseiten.
Inf1-Instances sind ab sofort in Amazon SageMaker für die AWS-Regionen Nord-Virginia und Oregon in den USA verfügbar und in vier Größen erhältlich: ml.inf1.xlarge, ml.inf1.2xlarge, ml.inf1.6xlarge und ml.inf1.24xlarge. Machine Learning-Modelle, die mit TensorFlow und MxNet-Frameworks entwickelt wurden, können auf Inf1-Instances in Amazon SageMaker für Echtzeit-Inferenzen bereitgestellt werden. Um Inf1-Instances in Amazon SageMaker zu verwenden, können Sie Ihre geschulten Modelle mit Amazon SageMaker Neo kompilieren und die Inf1-Instances auswählen, um das kompilierte Modell auf Amazon SageMaker bereitzustellen.
Weitere Informationen erhalten Sie im Amazon SageMaker Entwicklerhandbuch und in den Amazon SageMaker-Beispielen auf Github erfahren Sie, wie Sie Machine Learning-Modelle auf Inf1-Instances in Amazon SageMaker bereitstellen.
Geändert am 27.08.2021 – Um ein großartiges Erlebnis zu gewährleisten, wurden abgelaufene Links in diesem Beitrag aktualisiert oder aus dem ursprünglichen Beitrag entfernt.