Publicado en: Feb 6, 2019
Amazon FSx for Lustre, un sistema de archivos de alto rendimiento para aprendizaje automático, informática de alto rendimiento, análisis y otras cargas de trabajo de procesamiento de datos, facilita aún más el procesamiento de datos que residen en Amazon S3 con opciones nuevas para escribir resultados nuevamente en S3 y el doble de velocidad para la transferencia de datos entre FSx for Lustre y S3.
En general, las cargas de trabajo de procesamiento de datos requieren que los datos se presenten a través de una interfaz de sistema de archivos POSIX escalable y ágil y, además, generalmente tienen conjuntos de datos de entrada que se almacenan en Amazon S3. Con FSx for Lustre, puede activar rápida y fácilmente un sistema de archivos escalable y eficiente vinculado con sus datos de Amazon S3, obtener acceso de manera transparente a objetos de S3 como archivos, volver a escribir resultados en S3 y, a continuación, desactivar el sistema de archivos.
Anteriormente, cuando se volvían a escribir resultados en S3 desde un sistema de archivos de FSx for Lustre, los archivos nuevos o modificados se escribían como objetos nuevos en una ubicación predefinida dentro de su bucket de S3. Ahora tiene la opción de sobrescribir los objetos originales en su bucket de Amazon S3 o escribir los archivos nuevos o modificados en un prefijo que especifique. Estas opciones ofrecen una mayor flexibilidad para incorporar FSx for Lustre en sus flujos de trabajo de procesamiento de datos.
Además, Amazon FSx for Lustre ahora suministra hasta el doble de velocidad para la transferencia de datos entre su bucket de Amazon S3 y su sistema de archivos FSx for Lustre, lo que le permite finalizar las cargas de trabajo de procesamiento aún más rápido.
Estas mejoras están disponibles en todos los sistemas de archivos nuevos en todas las regiones en las que FSx for Lustre se encuentra disponible. Obtenga más información sobre las nuevas opciones para escribir resultados en S3 y sobre el rendimiento de FSx for Lustre.