Veröffentlicht am: Jul 17, 2018
Amazon SageMaker unterstützt nun den Pipe Input Mode für die integrierten TensorFlow-Container. Der Pipe Input Mode ermöglicht den direkten Datenstrom des Amazon Simple Storage Service (Amazon S3) zum TensorFlow-Container in der Trainings-Instance mithilfe des TensorFlow-Datasetkonstrukts.
Diese Funktion bietet schnellere Startzeiten für Schulungsaufgaben, besseren Durchsatz und geringeren Speicherplatzverbrauch und senkt so die Kosten für Modellschulungen bei Amazon SageMaker. Zum Beispiel haben wir in unseren internen Benchmarks, die Anfang des Jahres mit dem Pipe Input Mode für die integrierten Algorithmen von Amazon Sagemaker eingeführt wurden, die Startzeiten bei 78 GB Schulungsdatensatz um bis zu 87 % reduziert, wobei der Durchsatz in einigen Benchmarks doppelt so schnell war – bis zu 35 % Reduktion der gesamten Trainingszeit.
Vor dem Pipe Input Mode wurden alle Ihre Daten von Amazon S3 in die Amazon Elastic Block Store-Volumes (Amazon EBS) geladen, die an Ihre Schulungs-Instances über den File Input Mode angehängt wurden. Dies erforderte Speicherplatz zum Speichern Ihrer endgültigen Modellartefakte und Ihres vollständigen Schulungsdatensatzes. Der File Input Mode kann weiterhin für Schulungsaufgaben nützlich sein, die mehrere Zeitspannen mit Datensätzen ausführen, die vollständig in den Speicher passen. Beide Eingabemodi decken ein Spektrum von Anwendungsfällen ab, von kleinen experimentellen bis hin zu verteilten Schulungsaufgaben im Petabyte-Bereich.
Pipe Input Mode for TensorFlow-Containers in Amazon SageMaker ist jetzt in den AWS-Regionen USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Europa (Frankfurt), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul) und Asien-Pazifik (Sydney) verfügbar. Besuchen Sie die Amazon SageMaker-Dokumentation für mehr Details.