Publicado en: Aug 27, 2019
Amazon SageMakerahora admite los sistemas de archivos de Amazon Elastic File System (Amazon EFS) y Amazon FSx for Lustre como orígenes de datos para el entrenamiento de los modelos de aprendizaje automático de SageMaker Amazon FSx for Lustre es un sistema de archivos de alto rendimiento que están optimizados para las cargas de trabajo, como el aprendizaje automático, el análisis y la informática de alto rendimiento. Amazon EFS proporciona un sistema de archivos simple, escalable y elástico para cargas de trabajo basadas en Linux que se utiliza con los servicios en la nube de AWS y los recursos locales. La compatibilidad con estos sistemas de archivos acelera y simplifica el uso de Amazon SageMaker a fin de entrenar modelos con conjuntos de datos. El origen de datos del sistema de archivos elimina el paso de descarga de datos del proceso de entrenamiento y aprovecha la gran variedad de beneficios de rendimiento y capacidad de procesos del sistema de archivos para ejecutar las tareas de entrenamiento con mayor rapidez a fin de reducir el tiempo de inicio de estos sistemas.
Previamente, Amazon SageMaker descargaba de manera transparente un conjunto de entrenamiento completo de Amazon S3 al almacenamiento de archivos locales al comienzo de la tarea de entrenamiento con el modo de entrada de archivo. Ahora, con Amazon FSx for Lustre, los clientes pueden ahorrar el tiempo que implica la descarga inicial de Amazon S3 y, de este modo, acelerar las tareas de entrenamiento del modo de archivo. Si se conecta el sistema de archivos de Amazon FSx for Lustre a los buckets de Amazon S3, Amazon FSx for Lustre copia los objetos de Amazon S3 al sistema de archivos cuando accede a ellos por primera vez. Un mismo sistema de archivos de FSx puede utilizarse en distintas tareas de SageMaker, lo que evita la descarga repetida de objetos comunes.
Asimismo, hasta hoy, los clientes solo podían utilizar Amazon SageMaker con conjuntos de entrenamiento almacenados en Amazon S3. Ahora, también pueden utilizar conjuntos de entrenamiento almacenados en Amazon EFS. Amazon SageMaker interactúa de manera directa con Amazon EFS, lo que permite eliminar la necesidad de copiar conjuntos de datos de Amazon EFS a Amazon S3 para usarlos con Amazon SageMaker.
La mayoría de los algoritmos del aprendizaje automático integrados a Amazon SageMaker admiten EFS y FSx for Lustre como orígenes de datos de entrada. Esta característica está disponible en todas las regiones en donde estén disponibles sus respectivos sistemas de archivos. Para obtener información sobre la disponibilidad por regiones, consulte la Tabla de regiones de AWS.
Consulte la documentación para obtener más información y lea la publicación del blog para conocer cómo utilizar esta característica.