Publicado en: Jul 17, 2018
Amazon SageMaker ya admite el modo de entrada de canal para los contenedores integrados de TensorFlow. El modo de entrada de canal permite el streaming de datos directo desde Amazon Simple Storage Service (Amazon S3) hasta el contenedor de TensorFlow en la instancia de entrenamiento mediante el uso del constructo de conjunto de datos de TensorFlow.
Esta capacidad proporciona tiempos de inicio más cortos para los trabajos de entrenamiento, un mayor rendimiento y un uso menor de espacio en disco, reduciendo por tanto aún más los costos de entrenamiento de modelos en Amazon SageMaker. A modo de ejemplo, en nuestros análisis comparativos internos realizados este año cuando lanzamos el modo de entrada de canal para los algoritmos integrados de Amazon SageMaker, los tiempos de inicio se redujeron en hasta un 87% en el conjunto de datos de entrenamiento de 78 GB, con un rendimiento dos veces más rápido en algunos análisis comparativos, lo cual produjo una reducción máxima del 35% en el tiempo de entrenamiento total.
Antes del modo de entrada de canal, los datos se cargaban desde Amazon S3 hasta los volúmenes de Amazon Elastic Block Store (Amazon EBS) conectados a las instancias de entrenamiento mediante el modo de entrada de archivo, lo que requería espacio en disco para almacenar tanto los artefactos del modelo final como todo el conjunto de datos de entrenamiento. El modo de entrada de archivo puede seguir resultando útil para trabajos de entrenamiento que ejecuten varias fechas de inicio (epochs) con conjuntos de datos que quepan completamente en memoria. Estos dos modos de entrada juntos abarcan una amplia gama de casos de uso, desde pequeños trabajos experimentales hasta trabajos de entrenamiento distribuidos de varios petabytes.
El modo de entrada de canal para los contenedores en Amazon SageMaker ya está disponible en las regiones de AWS EE.UU. Este (Norte de Virginia), EE.UU. Este (Ohio), EE.UU. Oeste (Oregón), UE (Irlanda), UE (Fráncfort), Asia Pacífico (Tokio), Asia Pacífico (Seúl) y Asia Pacífico (Sídney). Consulte la documentación de Amazon SageMaker para obtener más detalles.