Veröffentlicht am: Mar 26, 2021
Amazon Elastic Kubernetes Service (EKS) unterstützt jetzt Elastic Fabric Adapter (EFA). Damit können Anwendungen die Leistung eines lokalen Machine Learning-Clusters mit der Skalierbarkeit, Flexibilität und Elastizität von Kubernetes-Clustern erreichen, die von EKS verwaltet werden.
Kubernetes hat sich zu einer führenden Plattform für verteilte Machine Learning-Anwendungen entwickelt, da es die Skalierung von Clustern auf eine große Anzahl von Knoten mit leistungsstarken GPU-basierten Instances erleichtert. Bei der Skalierung kann die Netzwerkbandbreite zu einem Engpass für verteilte Workloads werden. Elastic Fabric Adapter (EFA) ist eine Netzwerkschnittstelle für Amazon-EC2-Instances, mit der Sie Anwendungen ausführen können, für die bei der Skalierung ein hohes Maß an Kommunikation zwischen Knoten in AWS erforderlich ist. Sie können EFA jetzt ganz einfach in verteilte Trainingsanwendungen auf Kubernetes integrieren, indem Sie das neu veröffentlichte EFA-Geräte-Plugin nutzen, das EFA-Geräte automatisch erkennt und in Pods einbindet, die sie anfordern. Dadurch können Sie die Bandbreite erhöhen, wenn ML-Trainingsaufgaben horizontal skaliert werden, um immer größere Modelle unterzubringen. Sie können jetzt die Vorteile der neuesten GPU-gestützten EC2-Instance-Typen wie P4d voll ausschöpfen, die mehrere EFA-Geräte für noch mehr Verbesserungen bei der Modelltrainingszeit enthalten.
Elastic Fabric Adapter wird auf allen EKS-Clustern unterstützt, und EFA-fähige Instances können über verwaltete Knotengruppen, eksctl oder CloudFormation gestartet werden. Informationen zum Einstieg finden Sie in der Dokumentation zu Amazon EKS. Weitere Informationen zu Amazon EKS finden Sie auf der Produktseite. Weitere Informationen zu Elastic Fabric Adapter finden Sie in der EC2-Dokumentation.