Publié le: Dec 1, 2021
Aujourd'hui, nous sommes heureux d'annoncer Amazon SageMaker Training Compiler, une nouvelle fonction de SageMaker qui peut accélérer de jusqu'à 50 % l'entraînement des modèles de deep learning (DL) grâce à une utilisation plus efficace des instances GPU.
Les modèles DL de pointe pour les tâches de traitement du langage naturel (NLP) et de reconnaissance d'image (CV) sont des réseaux neuronaux multicouches complexes comportant des milliards de paramètres dont l'entraînement peut nécessiter des milliers d'heures GPU. Même le paramétrage de ces modèles peut parfois prendre des jours, entraînant des coûts élevés et ralentissant l'innovation. Pour accélérer ce processus, vous pouvez désormais utiliser SageMaker Training Compiler en apportant des modifications minimales à votre script d'entraînement existant. SageMaker Training Compiler est intégré aux dernières versions de PyTorch et TensorFlow dans SageMaker et fonctionne sous le capot de ces cadres, afin qu'aucune autre modification de votre flux ne soit requise lorsqu'il est activé.
SageMaker Training Compiler accélère l'entraînement en convertissant les modèles DL de leur représentation linguistique de haut niveau en instructions optimisées pour le matériel. Plus précisément, la compilation SageMaker Training Compiler effectue des optimisations au niveau du graphique (fusion d'opérateurs, planification de la mémoire et simplification algébrique), des optimisations au niveau du flux de données (transformation de la mise en page, élimination des sous-expressions communes) et des optimisations backend (masquage de la latence de la mémoire, optimisations axées sur les boucles) pour utiliser plus efficacement les ressources matérielles et, par conséquent, entraîner le modèle plus rapidement. L'artefact de modèle renvoyé par ce processus d'entraînement accéléré est le même, comme ce serait aussi le cas sans ces optimisations d'entraînement activées.
SageMaker Training Compiler est testé sur les modèles DL de traitement du langage naturel les plus populaires de Hugging Face, notamment bert-base-cased, bert-base-uncased, distilbert-base-uncased, distilbert-base-uncased-finetuned-sst-2-english, gpt2, roberta-base, roberta-large, bert-base-chinese, and xlm-roberta-base. Ces modèles s'entraînent jusqu'à 50 % plus rapidement avec SageMaker Training Compiler.
SageMaker Training Compiler est désormais disponible pour tout le monde en Virginie du Nord, en Ohio, en Oregon et en Irlande. Il est aussi fourni sans frais supplémentaires aux clients de SageMaker. Pour plus de détails, veuillez visiter la page web du modèle d'entraînement SageMaker et la documentation technique de SageMaker Training Compiler.