Veröffentlicht am: Oct 10, 2018
Amazon SageMaker bietet jetzt eine verbesserte Implementierung von Pipe Mode. Dadurch wird beim Trainieren von zu maschinellem Lernen fähigen Modellen (ML-Modellen) die Geschwindigkeit gesteigert, mit der Daten von Amazon Simple Storage Service (S3) in SageMaker eingespeist werden. Die neueste Implementierung von Pipe Mode bietet im Vergleich zu File Mode bis zu neunmal schnellere Datenübertragung.
Amazon SageMaker unterstützt zwei Übertragungsmethoden für Trainingsdaten – File Mode und Pipe Mode. Bei File Mode werden die Trainingsdaten zuerst auf ein verschlüsseltes EBS-Volume heruntergeladen, das der Trainings-Instance angefügt ist, bevor das Modell trainiert wird. Bei Pipe Mode werden die Daten direkt in den Trainingsalgorithmus gespeist, während dieser ausgeführt wird. Dies beschleunigt die Trainingsaufgaben und benötigt weniger Festplattenspeicher, wodurch das Trainieren von ML-Modellen durch SageMaker kostengünstiger wird.
Abhängig von Ihren Anforderungen und Ihrer Umgebung können Sie das für Sie passende Modell auswählen. Wenn beispielsweise Ihr Trainingsdatensatz klein genug für den Arbeitsspeicher ist und mehrere Epochen durchgeführt werden müssen, ist es möglicherweise praktikabler, File Mode zu verwenden und alles in den Arbeitsspeicher zu laden. Wenn der Algorithmus an E/A gebunden ist, führt Pipe Mode zu höherem Durchsatz. Zudem ist weniger Festplattenspeicher erforderlich.
Die neueste Implementierung von Pipe Mode wird in allen AWS-Regionen unterstützt, in denen Amazon SageMaker verfügbar ist. Weitere Informationen erhalten Sie in der Amazon SageMaker-Dokumentation.