Amazon FSx per Lustre ora supporta Elastic Fabric Adapter e NVIDIA GPUDirect Storage
Amazon FSx per Lustre, un servizio che fornisce spazio di archiviazione file ad alte prestazioni, conveniente e scalabile per carichi di lavoro di calcolo, ora supporta Elastic Fabric Adapter (EFA) e NVIDIA GPUDirect Storage (GDS). Ora, grazie a questo lancio, Amazon FSx per Lustre offre un servizio di archiviazione più veloce per le istanze GPU nel cloud, fornendo un throughput per istanza client fino a 12 volte superiore (1.200 Gbps) rispetto ai precedenti sistemi FSx per Lustre. In questo modo è possibile completare le operazioni di addestramento del machine learning più velocemente e ridurre i costi del carico di lavoro.
L'EFA migliora le prestazioni dei carichi di lavoro utilizzando il protocollo AWS Scalable Reliable Datagram (SRD) per aumentare l'utilizzo del throughput di rete e bypassando il sistema operativo durante il trasferimento dei dati. Per le applicazioni basate su istanze di calcolo ad alte prestazioni come Trn1 e Hpc7a, puoi utilizzare EFA per ottenere un throughput più elevato per istanza del client. Il supporto GDS opera su EFA per migliorare ulteriormente le prestazioni consentendo il trasferimento diretto dei dati tra il file system e la memoria della GPU. Questo percorso diretto elimina le copie di memoria e il coinvolgimento della CPU nelle operazioni di trasferimento dati. Con la combinazione del supporto EFA e GDS, le applicazioni che utilizzano istanze GPU P5 e NVIDIA CUDA (Compute Unified Device Architecture) possono raggiungere un throughput fino a 12 volte superiore (fino a 1.200 Gbps) per istanza del client.
Il supporto EFA e GDS è disponibile senza costi aggiuntivi sui nuovi file system di FSx per Lustre Persistent-2 in tutte le regioni AWS commerciali in cui sono supportati i file system di Persistent-2. Per maggiori informazioni su questa nuova funzionalità consulta la documentazione di Amazon FSx per Lustre e l'articolo Amazon FSx per Lustre aumenta fino a 12 volte il throughput delle istanze GPU sul blog AWS News.