Veröffentlicht am: Dec 1, 2021
Wir freuen uns, heute Amazon SageMaker Training Compiler anzukündigen, eine neue Funktion von SageMaker, die das Training von Deep-Learning-Modellen (DL) durch eine effizientere Nutzung von GPU-Instances um bis zu 50 % beschleunigen kann.
Moderne DL-Modelle für natürliche Sprachverarbeitung (NLP) und für Computer-Vision-Aufgaben (CV) sind komplexe mehrschichtige neuronale Netzwerke mit Milliarden von Parametern, deren Training Tausende von GPU-Stunden in Anspruch nehmen kann. Selbst die Optimierung dieser Modelle kann manchmal Tage dauern, was hohe Kosten verursacht und die Innovation verlangsamt. Um diesen Prozess zu beschleunigen, können Sie jetzt SageMaker Training Compiler mit minimalen Änderungen an Ihrem vorhandenen Trainingsskript verwenden. SageMaker Training Compiler ist in die aktuellen Versionen von PyTorch und TensorFlow in SageMaker integriert und läuft unter der Haube dieser Frameworks, sodass keine weiteren Änderungen an Ihrem Workflow erforderlich sind, wenn er aktiviert ist.
SageMaker Training Compiler beschleunigt das Training, indem er DL-Modelle von ihrer allgemeinsprachlichen Darstellung in hardwareoptimierte Befehle konvertiert. Genauer gesagt führt die Kompilierung von SageMaker Training Compiler Optimierungen auf Graphebene (Operatorfusion, Speicherplanung und algebraische Vereinfachung), Optimierungen auf Datenflussebene (Layout-Transformation, Eliminierung gemeinsamer Unterausdrücke) und Back-End-Optimierungen (Ausblenden von Speicherlatenzen, schleifenorientierte Optimierungen) durch, um Hardware-Ressourcen effizienter zu nutzen und das Modell schneller zu trainieren. Das zurückgegebene Modellartefakt aus diesem beschleunigten Trainingsprozess ist dasselbe wie ohne diese Trainingsoptimierungen.
SageMaker Training Compiler wurde mit den gängigsten NLP-DL-Modellen von Hugging Face getestet, darunter bert-base-cased, bert-base-uncased, distilbert-base-uncased, distilbert-base-uncased-finetuned-sst-2-english, gpt2, roberta-base, roberta-large, bert-base-chinese und xlm-roberta-base. Diese Modelle lassen sich mit SageMaker Training Compiler bis zu 50 % schneller trainieren.
SageMaker Training Compiler ist jetzt in Nord-Virginia, Ohio, Oregon und Irland allgemein verfügbar und wird SageMaker-Kunden ohne zusätzliche Kosten zur Verfügung gestellt. Weitere Informationen finden Sie auf der Webseite zum SageMaker-Modelltraining und in der technischen Dokumentation von SageMaker Training Compiler.