Publicado en: Dec 23, 2019
Amazon FSx for Lustre, un sistema de archivos de alto rendimiento optimizado para las cargas de trabajo como el aprendizaje automático, la informática de alto rendimiento, el procesamiento de video, el modelado financiero, la automatización del diseño electrónico y el análisis, ha agregado una funcionalidad que facilita la sincronización de los datos de los archivos y los permisos de los mismos entre Amazon FSx y Amazon S3. Además, Amazon FSx ha cuadruplicado la velocidad de lanzamiento de los sistemas de archivos FSx que están vinculados a los buckets de S3.
Amazon FSx for Lustre funciona de manera nativa con Amazon S3, lo que facilita el procesamiento de los conjuntos de datos en la nube con sistemas de archivos de alto rendimiento. Cuando está vinculado con un bucket de S3, un sistema de archivos de FSx for Lustre presenta de manera transparente los objetos de S3 como archivos y permite escribir los resultados en S3. Hasta hoy, Amazon FSx proporcionaba los comandos del sistema de archivos para exportar archivos nuevos o modificados de FSx a S3, pero estos comandos no copiaban los permisos de los archivos ni proporcionaban la capacidad de monitorear o cancelar la transferencia.
Hoy, Amazon FSx for Lustre está lanzando una interfaz de programación de aplicaciones (API) de AWS que permite exportar fácilmente los archivos de FSx a S3. Con la nueva API, puede iniciar, supervisar y cancelar fácilmente la escritura de archivos nuevos o modificados en S3. Debido a que se trata de una API nativa de AWS, puede utilizarla para orquestar fácilmente tareas de exportación de datos desde los flujos de trabajo nativos de la nube, como las aplicaciones sin servidor basadas en Lambda. Además de transferir los datos y los permisos del archivo, esta API también permite la transferencia de enlaces simbólicos, metadatos de propiedad de archivos y marcas temporales de archivos a S3. Los permisos de los archivos y otros metadatos de los archivos se almacenan en S3 en el mismo formato utilizado por AWS DataSync y AWS Storage Gateway.
Además, FSx ha cuadruplicado la velocidad a la que se importan los metadatos de los archivos desde S3, lo que permite lanzar sistemas de archivos de FSx respaldados por S3 hasta cuatro veces más rápido.
La nueva funcionalidad y las mejoras de la API y del rendimiento están disponibles en todos los nuevos sistemas de archivos en todas las regiones donde FSx for Lustre está disponible. Para obtener más información, visite la página de producto de Amazon FSx for Lustre, y lea nuestra publicación en el blog aquí.