Inserito il: Jul 17, 2018
Amazon SageMaker supporta ora la modalità di input di Pipe per i contenitori incorporati TensorFlow. La modalità di input di Pipe consente lo streaming dei dati direttamente da Amazon Simple Storage Service (Amazon S3) al contenitore TensorFlow sull'istanza di training, servendosi del costrutto del dataset TensorFlow.
Questa funzionalità offre tempi di avvio più rapidi per i processi di training, un migliore throughput e un uso dello spazio su disco inferiore, riducendo così ulteriormente i costi di training modello su Amazon SageMaker. Ad esempio, nei nostri benchmark interni condotti in precedenza nel corso dell'anno, abbiamo lanciato la modalità di input di Pipe per gli algoritmi incorporati di Amazon SageMaker, tempi di avvio ridotti anche dell'87% su 78 GB di dataset di training, con un throughput due volte più veloce in alcuni benchmark, per una conseguente riduzione anche del 35% sul tempo di training totale.
Prima della modalità di input di Pipe, i dati venivano caricati da Amazon S3 ai volumi di Amazon Elastic Block Store (EBS) allegati alle istanze di training utilizzando la modalità di input di File, che richiedeva spazio su disco per archiviare modelli finali e dataset di training completi. La modalità di input di File può comunque essere utile per i processi di training che eseguono più epoche (Unix epoch) con dataset che si adattano completamente alla memoria. Le due modalità di input coprono uno spettro di casi d'uso, dai piccoli processi sperimentali di training ai processi di training distribuiti in termini di petabyte.
La modalità di input di Pipe per i contenitori TensorFlow in Amazon SageMaker è ora disponibile nelle regioni AWS di Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Europa (Irlanda), Europa (Francoforte), Asia Pacifico (Tokyo), Asia Pacifico (Seul) e Asia Pacifico (Sydney). Per ulteriori informazioni, consulta la documentazione Amazon SageMaker.