Publicado en: Sep 3, 2019
Los clientes de Amazon SageMaker ahora pueden utilizar sistemas de archivos de Amazon FSx for Lustre de menor tamaño como origen de datos para entrenar modelos de aprendizaje automático. Hasta hoy, el sistema de archivos de FSx for Lustre más pequeño que se podía crear era de 3,6 TB. Para conjuntos de entrenamiento más pequeños, los clientes ahora pueden crear y usar sistemas de archivos de un tamaño de tan solo 1,2 TB.
Amazon FSx for Lustre es un sistema de archivos de alto rendimiento que funciona con datos de Amazon S3 y que está optimizado para cargas de trabajo como el aprendizaje automático, el análisis y la informática de alto rendimiento.
Con FSx for Lustre, los clientes pueden agilizar sus trabajos de entrenamiento de Amazon SageMaker. Antes de la presentación de la compatibilidad con Amazon FSx for Lustre del 27 de agosto de 2019, Amazon SageMaker descargaba de manera transparente un conjunto de entrenamiento completo de Amazon S3 al almacenamiento de archivos local al comienzo del trabajo de entrenamiento con el modo File input (Entrada de archivo). Ahora, con Amazon FSx for Lustre, los clientes pueden ahorrar el tiempo que implica la descarga inicial de Amazon S3 y, de este modo, acelerar los trabajos de entrenamiento del modo File (Archivo). Cuando están vinculado con Amazon S3, los sistemas de archivos de Amazon FSx for Lustre copian los objetos de Amazon S3 al sistema de archivos cuando se obtiene acceso a ellos por primera vez. El mismo sistema de archivos de Amazon FSx for Lustre se puede utilizar para trabajos de entrenamiento de Amazon SageMaker iterativos que se ejecuten en los mismos conjuntos de datos, lo que evita la descarga duplicada de objetos comunes. Mediante la compatibilidad con sistemas de archivos de menor tamaño, ahora es posible utilizar Amazon FSx for Lustre para un número aún mayor de cargas de trabajo de aprendizaje automático.
Los sistemas de archivos de Amazon FSx for Lustre de menor tamaño están disponibles en las siguientes regiones de AWS: EE.UU. Este (Norte de Virginia), EE.UU. Este (Ohio), EE.UU. Oeste (Oregón), EE.UU. Oeste (Norte de California), UE (Irlanda), UE (Fráncfort) y Asia Pacífico (Tokio). Para obtener información sobre la disponibilidad por regiones, consulte la Tabla de regiones de AWS.
Consulte la documentación para obtener más información y lea la publicación del blog para conocer cómo utilizar esta característica.