Publié le: May 1, 2019
Amazon EKS Deep Learning Benchmark Utility est un nouvel outil automatisé dédié à l’évaluation du Machine Learning sur les clusters Kubernetes. Il a été créé et mis en code source libre par l’équipe d’Amazon Elastic Container Service for Kubernetes (EKS).
Les Kubernetes sont des logiciels à code source libre qui simplifient et accélèrent la mise à l’échelle de modèles de Machine Learning à des fins de formation et d'inférence, ainsi que leur exécution à proximité de vos sources de données sur AWS. Face à un vaste choix de variables et d’infrastructures permettant d’exécuter des tâches de Machine Learning sur Kubernetes, trouver la bonne configuration pour vos charges de travail requiert un exercice constant d’évaluation. Auparavant, l’évaluation des performances du Machine Learning sur Kubernetes passait par plusieurs étapes manuelles consacrées à chaque optimisation des performances, ce qui alourdissait et rallongeait la configuration de tâches de Machine Learning rentables et performantes.
Désormais, Amazon EKS Deep Learning Benchmark Utility simplifie l’évaluation des performances de vos clusters Kubernetes exécutés sur AWS en ce qui concerne la formation de Deep Learning et les autres charges de travail de Machine Learning. L’utilitaire fournit un flux de travail d’évaluation de bout en bout automatisé allant de la création du cluster à son arrêt. Il prend également en charge des configurations de clusters hautement configurables, différents systèmes de stockage backend et plusieurs frameworks, par exemple Tensorflow, Horovod, OpenMPI, PyTorch et MxNet.
Pour en savoir plus, consultez le projet sur GitHub.
Consultez notre blog pour plus d’informations sur l’optimisation des performances de Deep Learning distribué avec Amazon EKS.