Inserito il: Sep 3, 2019
I clienti di Amazon SageMaker possono ora utilizzare i file system di dimensioni ridotte di Amazon FSx for Lustre come origine dati per la formazione dei modelli di machine learning. Fino ad oggi, il più piccolo file system FSx for Lustre creabile aveva le dimensioni di 3,6 TB. Per set di addestramento di dimensioni inferiori a queste, i clienti possono ora creare e utilizzare file system di soli 1,2 TB.
FSx for Lustre è un file system ad alte prestazioni che funziona con i dati di Amazon S3 ed è ottimizzato per carichi di lavoro quali machine learning, analisi e high performance computing.
Con FSx for Lustre, i clienti possono accelerare i loro lavori di formazione su Amazon SageMaker. Fino al 27 agosto 2019, data dell’annuncio del supporto per Amazon FSx for Lustre, Amazon SageMaker poteva scaricare in modo trasparente un set completo di addestramento da Amazon S3 sullo storage locale di file. Questa operazione era possibile solo all’inizio del lavoro di addestramento e in modalità di input di File. Ora, con Amazon FSx for Lustre, i clienti possono accelerare i loro lavori di addestramento in modalità file eliminando il processo di download iniziale di Amazon S3. Quando il file system di Amazon FSx for Lustre viene collegato ad Amazon S3, copia automaticamente gli oggetti da Amazon S3 sul file system quando si accede ad essi per la prima volta. Lo stesso file system Amazon FSx for Lustre può essere utilizzato anche per lavori di formazione iterativi di Amazon SageMaker in esecuzione sugli stessi set di dati, che impedisce il download ripetuto di oggetti comuni. Con il supporto di file system di dimensioni ridotte, Amazon FSx for Lustre può ora essere utilizzato per carichi di lavoro di machine learning anche più grandi.
I file system di dimensioni ridotte di Amazon FSx for Lustre sono ora disponibili nelle seguenti regioni AWS: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Stati Uniti occidentali (California settentrionale), UE (Irlanda), UE (Francoforte), e Asia Pacifico (Tokyo). Per i dettagli sulla disponibilità delle regioni, consulta la tabella delle regioni AWS.
Consulta la documentazione e leggi il post del blog per maggiori informazioni su come utilizzare la funzionalità.