Veröffentlicht am: May 24, 2018
Sie können Ihre Schulungsaufträge mit den integrierten Amazon SageMaker-Algorithmen jetzt mit dem Pipe-Eingabemodus um bis zu 35 % schneller ausführen. Im Pipe-Eingabemodus streamt Ihre Schulungsauftragsdaten direkt von Amazon Simple Storage Service (Amazon S3) an den Algorithmuscontainer der Schulungs-Instances, um schnellere Startzeiten für Schulungsaufträge und einen besseren Durchsatz bereitzustellen. Zum Beispiel zeigten Benchmarks bei einer 78-GB-Datei eine um bis zu 10 Minuten verbesserte Startzeit, wobei der Durchsatz in einigen Benchmarks doppelt so schnell war.
Die meisten Amazon SageMaker-Algorithmen funktionieren am besten, wenn Sie das optimierte protobuf recordIO-Format für Schulungsdaten zur Geschwindigkeitsoptimierung verwenden. Wenn Sie dieses Format verwenden, können Sie den Pipe-Eingabemodus nutzen, wenn Sie die Algorithmen schulen, die dies unterstützen. Vor dem Pipe-Eingabemodus wurden alle Ihre Daten von Amazon S3 in die Amazon Elastic Block Store-Volumes (Amazon EBS) geladen, die an Ihre Schulungs-Instances über den Datei-Eingabemodus angehängt wurden. Dies erforderte Speicherplatz zum Speichern Ihrer endgültigen Modellartefakte und Ihres vollständigen Schulungsdatensatzes. Der Dateieingabemodus wird immer noch bevorzugt, wenn der Algorithmus mehrere Epochen erfordert und der Schulungsdatensatz klein genug ist, um in den Speicher zu passen, der Pipe-Eingabemodus jedoch bei großen Datensätzen besser funktioniert.
Der Pine-Eingabemodus ist ab heute in Amazon SageMaker in den AWS-Regionen USA Ost (Nord-Virginia), USA Ost (Ohio), EU (Irland) und USA West (Oregon) verfügbar. Weitere Informationen zum Pipe-Eingabemodus finden Sie in der Dokumentation mit Amazon SageMaker-Algorithmen. Lesen Sie im Blog-Post, wie Sie die Pipe-Eingabemodus-Funktion verwenden und Benchmarks im File Input Mode überprüfen.