Publicado: May 24, 2018
Agora você pode executar seus trabalhos de treinamento com os algoritmos integrados do Amazon SageMaker com até 35% mais rapidez por meio do modo de entrada Pipe. Usando o modo de entrada Pipe, seu trabalho de treinamento transmite dados diretamente do Amazon Simple Storage Service (Amazon S3) para o contêiner de algoritmo nas instâncias de treinamento, para fornecer tempos de início mais rápidos para trabalhos de treinamento e melhor rendimento. Por exemplo, os comparativos de mercado indicaram tempos de início melhorados em até 10 minutos em um arquivo de 78 GB, com throughput duas vezes mais rápido em alguns comparativos.
A maioria dos algoritmos do Amazon SageMaker funciona melhor quando você usa o formato optimizado de protobuf recordIO para dados de treinamento para otimização de velocidade. Usar esse formato permite que você aproveite o modo de entrada Pipe ao treinar os algoritmos que dão suporte a ele. Antes do modo de entrada Pipe, todos os seus dados eram carregados do Amazon S3 para os volumes do Amazon Elastic Block Store (Amazon EBS) anexados às suas instâncias de treinamento usando o modo File input, que exigia espaço em disco para armazenar os artefatos finais do modelo e o conjunto de dados completo de treinamento. O modo de File input ainda é preferido quando o algoritmo exige vários epochs e o conjunto de dados de treinamento é pequeno o suficiente para caber na memória, mas o modo de entrada Pipe funciona melhor com grandes conjuntos de dados.
O modo de entrada Pipe está disponível no Amazon SageMaker hoje nas regiões do Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), UE (Irlanda) e Oeste dos EUA (Oregon) da AWS. Consulte a documentação para obter mais informações sobre o modo de entrada Pipe com alguns algoritmos do Amazon SageMaker e leia a postagem do blog sobre como usar o recurso modo de entrada Pipe e revise os comparativos de mercado em relação a esse modo.