Publicado: Jul 17, 2018
O Amazon SageMaker agora oferece suporte ao modo de entrada pipe para contêineres embutidos do TensorFlow. O modo de entrada pipe permite que os dados sejam transmitidos diretamente do Amazon Simple Storage Service (Amazon S3) para o contêiner TensorFlow na instância de treinamento, usando o construto do conjunto de dados do TensorFlow.
Esse recurso fornece tempos de início mais rápidos para trabalhos de treinamento, melhor rendimento e menor uso de espaço em disco, reduzindo ainda mais os custos de treinamento de modelo no Amazon SageMaker. Como exemplo, em nossas comparações internas realizadas no início deste ano, quando lançamos o Modo de entrada pipe para algoritmos embutidos do Amazon Sagemaker, reduzimos os tempos de início em até 87% no conjunto de dados de treinamento de 78 GB, com rendimento duas vezes mais rápido em algumas comparações, resultando em uma redução de até 35% no tempo total de treinamento.
Antes do modo de entrada pipe, os dados eram carregados do Amazon S3 para os volumes do Amazon Elastic Block Store (Amazon EBS), que eram anexados às suas instâncias de treinamento usando o modo de entrada file, que exigia espaço em disco para armazenar os artefatos finais do modelo e o conjunto de dados completo de treinamento. O modo de entrada file ainda pode ser útil para trabalhos de treinamento que executam diversas epochs com conjuntos de dados que se encaixam completamente na memória. Ambos os modos de entrada cobrem um espectro de casos de uso, desde pequenos trabalhos de treinamento experimentais até trabalhos de treinamento distribuídos em escala de petabytes.
O modo de entrada pipe para conteinêres do TensorFlow no Amazon SageMaker está agora disponível nas regiões Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Europa (Frankfurt), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul) e Ásia-Pacífico (Sydney) da AWS. Acesse a documentação do Amazon SageMaker para obter mais detalhes.