Inserito il: Aug 27, 2019
Amazon SageMaker ora supporta i file system di Amazon Elastic File System (Amazon EFS) e Amazon FSx for Lustre come origini di dati per addestrare i modelli di machine learning su SageMaker. FSx for Lustre è un file system ad alte prestazioni ottimizzato per carichi di lavoro quali machine learning, analisi e high performance computing. Amazon EFS fornisce un file system semplice, scalabile ed elastico per carichi di lavoro basati su Linux da utilizzare per servizi AWS Cloud e risorse locali. Il supporto per questi file system accelera e semplifica l’utilizzo di Amazon SageMaker per l’addestramento di modelli tramite set di dati. Utilizzare un file system come origine di dati permette di ridurre il tempo necessario per cominciare il processo di addestramento, poiché elimina la necessità di scaricare i dati e consente di sfruttare i vantaggi in prestazioni e throughput del file system per eseguire il lavoro di addestramento più rapidamente.
Fino a oggi, Amazon SageMaker scaricava in modo trasparente un set completo di addestramento da Amazon S3 sullo storage locale di file all’inizio del lavoro di addestramento in modalità di input file. Ora, con Amazon FSx for Lustre, i clienti possono accelerare i loro lavori di addestramento in modalità file eliminando il processo di download iniziale di Amazon S3. Quando il file system di Amazon FSx for Lustre viene collegato ai bucket di Amazon S3, copia automaticamente gli oggetti da Amazon S3 sul file system quando si accede agli oggetti per la prima volta. Lo stesso file system FSx può anche essere utilizzato per diversi lavori di SageMaker, evitando di dover scaricare ripetutamente oggetti in comune ai vari lavori.
Inoltre, fino a oggi, i clienti potevano solo utilizzare Amazon SageMaker con set di addestramento archiviati su Amazon S3. Ora, i clienti possono anche utilizzare i set che sono archiviati su Amazon EFS. Amazon SageMaker interagisce direttamente con Amazon EFS, eliminando la necessità di dover copiare i set di dati da Amazon EFS su Amazon S3 per l’utilizzo con Amazon SageMaker.
La maggior parte degli algoritmi di machine learning incorporati in Amazon SageMaker supportano EFS e FSx for Lustre come origine di dati di input. Questa funzionalità è disponibile in tutte le regioni in cui i rispettivi file system sono disponibili. Per i dettagli sulla disponibilità delle regioni, consulta la tabella delle regioni AWS.
Consulta la documentazione e leggi il post del blog per maggiori informazioni su come utilizzare la funzionalità.