Publicado: Dec 1, 2021
Hoje, temos o prazer de anunciar o Amazon SageMaker Training Compiler, um novo recurso do SageMaker que pode acelerar o treinamento de modelos de aprendizado profundo (DL) em até 50% por meio do uso mais eficiente de instâncias de GPU.
Os modelos DL de última geração para tarefas de processamento de linguagem natural (PLN) e visão computacional (CV) são redes neurais complexas de várias camadas com bilhões de parâmetros que podem levar milhares de horas de GPU para treinar. Mesmo o ajuste fino desses modelos às vezes pode levar dias, gerando altos custos e retardando a inovação. Para acelerar este processo, agora você pode usar o SageMaker Training Compiler com alterações mínimas em seu script de treinamento existente. O SageMaker Training Compiler está integrado às versões mais recentes do PyTorch e TensorFlow no SageMaker e funciona sob o capô desses frameworks para que nenhuma outra alteração no seu fluxo de trabalho seja necessária quando ele for ativado.
O SageMaker Training Compiler acelera o treinamento ao converter modelos DL de sua representação de linguagem de alto nível em instruções otimizadas por hardware. Mais especificamente, a compilação do SageMaker Training Compiler faz otimizações em nível de grafos (fusão de operador, planejamento de memória e simplificação algébrica), otimizações de nível de fluxo de dados (transformação de layout, eliminação de subexpressão comum) e otimizações de backend (ocultação de latência de memória, loop otimizações orientadas) para usar os recursos de hardware com mais eficiência e, como resultado, treinar o modelo com mais rapidez. O artefato do modelo retornado desse processo de treinamento acelerado é o mesmo que seria sem essas otimizações de treinamento habilitadas.
O SageMaker Training Compiler foi testado nos modelos DL de PLN mais populares da Hugging Face, incluindo bert-base-cased, bert-base-uncased, distilbert-base-uncased, distilbert-base-uncased-finetuned-sst-2-english, gpt2, roberta-base, roberta-large, bert-base-chinese e xlm-roberta-base. Esses modelos treinam até 50% mais rápido com o SageMaker Training Compiler.
O SageMaker Training Compiler já está disponível no Norte da Virginia, Ohio, Oregon e Irlanda e é fornecido sem custo adicional para clientes SageMaker. Para obter mais detalhes, visite a página Web do SageMaker Model Training e a documentação técnica do SageMaker Training Compiler.