Publicado: May 1, 2019
O Amazon EKS Deep Learning Benchmark Utility é uma nova ferramenta automatizada para testes comparativos de Machine Learning em clusters do Kubernetes. A ferramenta foi criada no modelo de código aberto pela equipe do Amazon Elastic Container Service for Kubernetes (EKS).
O Kubernetes é um software de código aberto que facilita a rápida escalabilidade de modelos de Machine Learning para treinamento e inferência e sua execução perto das fontes de dados na AWS. Com uma grande variedade de variáveis e opções de infraestrutura para executar tarefas de Machine Learning no Kubernetes, você precisa realizar testes comparativos contínuos para encontrar a configuração correta para a sua carga de trabalho. Antes, os testes comparativos de performance de Machine Learning no Kubernetes exigiam que você executasse várias etapas manuais para cada otimização de performance. Isso acrescentava uma quantidade considerável de tempo e esforço à configuração de tarefas de Machine Learning econômicas e de alto desempenho.
O Amazon EKS Deep Learning Benchmark Utility simplifica a execução de testes comparativos de performance em clusters do Kubernetes executados na AWS para treinamento de aprendizado profundo e outras cargas de trabalho de Machine Learning. O utilitário oferece um fluxo de trabalho de testes comparativos automatizado e completo, desde a criação do cluster até sua desativação. Além disso, oferece configurações de cluster altamente personalizáveis, sistemas diferentes de armazenamento de back-end e várias estruturas, incluindo Tensorflow, Horovod, OpenMPI, PyTorch e MxNet.
Para saber mais, visite o projeto no GitHub.
Leia o nosso blog para saber mais sobre a otimização de performance de aprendizado profundo distribuído com o Amazon EKS.