Veröffentlicht am: Jun 15, 2020
Sie können Amazon Elastic Kubernetes Service (EKS) jetzt verwenden, um Container auf Amazon EC2 Inf1-Instances auszuführen. Mit EKS und dem Kubernetes-Geräte-Plug-in AWS Neuron können mehrere Inferentia-Geräte in Ihrem Cluster einfach kombiniert werden, um kostengünstige Inferenz-Workloads mit hoher Leistung skaliert auszuführen.
Amazon EC2 Inf1-Instances bieten hohe Leistung und die niedrigsten Kosten für Machine Learning-Inferenz in der Cloud. Inf1-Instances verfügen über bis zu 16 AWS Inferentia-Chips, leistungsstarke Machine Learning-Inferenz-Chips, die von AWS entwickelt und gebaut wurden. Mit Inf1-Instances können Kunden groß angelegte Machine Learning-Inferenzanwendungen wie Bilderkennung, Spracherkennung, Verarbeitung natürlicher Sprache, Personalisierung und Betrugserkennung ausführen. Sobald Ihr Machine Learning-Modell so geschult ist, dass es Ihren Anforderungen entspricht, können Sie Ihr Modell bereitstellen, indem Sie AWS Neuron verwenden, ein spezialisiertes Software Development Kit (SDK), bestehend aus einem Compiler, Laufzeit- und Profilerstellungstools, das die Machine Learning-Inferenzleistung von Inferentia-Chips optimiert und gängige Machine Learning-Frameworks unterstützt, wie etwa TensorFlow, PyTorch oder MXNet.
Amazon EKS hat das Ausführen von Inferentia-basierten Containern vereinfacht, indem das Amazon EKS-optimierte beschleunigte AMI mit allen erforderlichen AWS Neuron-Paketen aktualisiert wurde. Nach dem Start eines Clusters mit Worker-Knoten auf Grundlage des neuesten beschleunigten AMI können Sie das AWS Neuron-Kubernetes-Geräte-Plug-in installieren, das Inferentia-Geräte beim Worker-Knoten-Kubelet als verfügbare Ressourcen bewirbt. Diese differenzierte Planungsfunktion ermöglicht EKS-Kunden eine bessere Nutzung und höhere Kosteneinsparungen im Vergleich zur Nutzung eigenständiger EC2 Inf1 Instances.
EC2 Inf1 Instances können in Regionen, in denen Inf1 verfügbar ist, auf allen EKS-Clustern verwendet werden, die Version 1.14 und höher verwenden. Heute werden nur selbst verwaltete Knotengruppen unterstützt, die mit eksctl, CloudFormation oder der AWS CLI gestartet werden können. Unterstützung für mit EKS verwaltete Knotengruppen wird in einer zukünftigen Version hinzugefügt. Erste Schritte finden Sie in der Amazon EKS-Dokumentation. Mehr über Inf1 Instances und Inferentia finden Sie in der Amazon EC2-Dokumentation.