Inserito il: Oct 10, 2018
Amazon SageMaker include ora un'implementazione Pipe Mode migliorata che velocizza la frequenza di streaming dei dati da Amazon Simple Storage Service (S3) in SageMaker durante l'addestramento di modelli di apprendimento automatico. L'implementazione più recente della modalità Pipe Mode fornisce throughput di streaming fino a 9 volte superiori rispetto al File Mode.
Amazon SageMaker supporta due metodi di trasferimento dei dati di addestramento: File Mode e Pipe Mode. In File Mode, i dati di addestramento vengono scaricati in un volume EBS crittografato collegato all'istanza di addestramento prima di raggiungere il modello. In Pipe Mode, i dati vengono trasmessi direttamente nell'algoritmo di addestramento durante l'esecuzione. I processi ne risultano più rapidi e lo spazio su disco impiegato minore, consentendo una riduzione generale dei costi dell'addestramento di modelli.
È così possibile scegliere quale metodo impiegare a seconda dei requisiti specifici e dell'ambiente di esecuzione. Ad esempio, se il set di dati di addestramento è sufficientemente compatto da essere conservato in memoria e non è necessario eseguire diverse epoche, è più semplice operare in File Mode e caricare tutto in memoria. Se invece è presente un algoritmo correlato a I/O, in Pipe Mode è possibile ottenere throughput superiori e ridurre le dimensioni necessarie su disco
L'implementazione più recente della modalità Pipe Mode è supportata in tutte le regioni AWS che offrono SageMaker. Per ulteriori informazioni, consulta la documentazione su Amazon SageMaker.