Inserito il: Nov 5, 2018
Gli algoritmi integrati di Amazon SageMaker supportano ora trasferimenti Pipe Mode per set di dati in formato CSV. Questo accelera del 40% la velocità del trasferimento di dati da AmazonSimple Storage Service (S3) a SageMaker e consente l’addestramento, in contemporanea, di modelli di machine learning (ML). Grazie a questo miglioramento, i vantaggi prestazionali dei trasferimenti Pipe Mode si estendono ai set di dati di addestramento in formato CSV in aggiunta al formato recordio-protobuf rilasciato all'inizio di quest'anno.
Amazon SageMaker supporta due metodi di trasferimento dei dati di addestramento: File Mode e Pipe Mode. In File Mode, i dati di addestramento vengono scaricati in un volume EBS crittografato collegato all'istanza di addestramento prima di raggiungere il modello. In Pipe Mode, i dati vengono trasmessi direttamente nell'algoritmo di addestramento durante l'esecuzione. I processi risultano più rapidi e lo spazio su disco impiegato minore, consentendo una riduzione generale dei costi dell'addestramento di modelli di ML in Amazon SageMaker.
Il supporto per il formato CSV con Pipe Mode è disponibile in tutte le regioni in cui Amazon SageMaker è presente oggi. Per ulteriori informazioni, leggi il post del blog.