Amazon FSx para Lustre ahora es compatible con Elastic Fabric Adapter y GPUDirect Storage de NVIDIA
Amazon FSx para Lustre, un servicio que ofrece almacenamiento de archivos escalable, rentable y de alto rendimiento para cargas de trabajo de computación, ahora es compatible con Elastic Fabric Adapter (EFA) y GPUDirect Storage (GDS) de NVIDIA. Con este lanzamiento, Amazon FSx para Lustre ahora ofrece el rendimiento de almacenamiento más rápido para las instancias de GPU en la nube, con un rendimiento hasta 12 veces superior por instancia de cliente (1200 Gbps) en comparación con los sistemas FSx para Lustre anteriores. De esta manera, puede completar los trabajos de entrenamiento de machine learning más rápidamente y reducir los costos de las cargas de trabajo.
EFA mejora el rendimiento de las cargas de trabajo mediante el protocolo Scalable Reliable Datagram (SRD) de AWS para aumentar la utilización del rendimiento de la red y omitir el sistema operativo durante la transferencia de datos. Para las aplicaciones basadas en instancias de computación de alto rendimiento, como Trn1 y Hpc7a, puede usar EFA para lograr un mayor rendimiento por instancia de cliente. La compatibilidad con GDS se basa en EFA para mejorar aún más el rendimiento al permitir la transferencia directa de datos entre el sistema de archivos y la memoria de la GPU. Esta ruta directa elimina las copias de memoria y la participación de la CPU en las operaciones de transferencia de datos. Con la combinación de compatibilidad con EFA y GDS, las aplicaciones que utilizan instancias de GPU P5 y Compute Unified Device Architecture (CUDA) de NVIDIA pueden lograr un rendimiento hasta 12 veces mejor (hasta 1200 Gbps) por instancia de cliente.
La compatibilidad con EFA y GDS está disponible sin costo adicional en los nuevos sistemas de archivos Persistent-2 de FSx para Lustre en todas las regiones comerciales de AWS en las que están disponibles estos sistemas de archivos. Para obtener más información sobre esta nueva característica, consulte la documentación de Amazon FSx para Lustre y el artículo en el blog de noticias de AWS: “Amazon FSx for Lustre increases throughput to GPU instances by up to 12x” (Amazon FSx para Lustre aumenta el rendimiento de las instancias de GPU hasta 12 veces).