Veröffentlicht am: Aug 27, 2019
Amazon SageMaker unterstützt jetzt die Dateisysteme Amazon Elastic File System (Amazon EFS) und Amazon FSx for Lustre und verwendet sie als Datenquelle für das Training von Machine Learning-Modellen in SageMaker. Amazon FSx for Lustre ist ein hochleistungsfähiges Dateisystem, das für Workloads wie Machine Learning, Analysen und High Performance Computing optimiert ist. Amazon EFS ist ein einfaches, skalierbares und elastisches Dateisystem für Linux-basierte Workloads zur Verwendung mit AWS Cloud-Services und standortbasierten Ressourcen. Der Support dieser Dateisysteme beschleunigt und vereinfacht den Einsatz von Amazon SageMaker, um Modelle mithilfe von Datensätzen zu trainieren. Die Datenquelle des Dateisystems reduziert die Anlaufzeit, indem sie den Schritt des Datendownloads abschafft und die zahlreichen Vorteile bzgl. Performance und Durchsatz des Dateisystems zur schnelleren Ausführung des Trainingsjobs nutzt.
Bis dato hat Amazon SageMaker den vollständigen Trainingssatz von Amazon S3 heruntergeladen, um im Dateieingabemodus zu Beginn eines Trainingsjobs auf den lokalen Dateispeicher zugreifen zu können. Jetzt können Kunden im Dateimodus ihre Trainingsjobs beschleunigen, da bei Amazon FSx for Lustre die Zeit für das Herunterladen wie bei Amazon S3 wegfällt. Wenn das Dateisystem Amazon FSx for Lustre mit Amazon S3-Buckets verknüpft ist, kopiert es automatisch Objekte von Amazon S4 in das Dateisystem, wenn zum ersten Mal auf diese Objekte zugegriffen wird. Ein FSx-Dateisystem kann für mehrere SageMaker-Aufgaben verwendet werden, wodurch das wiederholte Herunterladen häufig verwendeter Objekte vermieden wird.
Zudem konnten Kunden den Amazon SageMaker bis heute nur mit Trainingssets verwenden, die in Amazon S3 gespeichert waren. Jetzt können sie auch Trainingssets nutzen, die unter Amazon EFS gespeichert sind. Amazon SageMaker interagiert direkt mit Amazon EFS, sodass keine Datensätze mehr aus Amazon EFS in Amazon S3 kopiert werden müssen.
Die meisten im Amazon SageMaker integrierten Algorithmen für Machine Learning unterstützen EFS und FSx for Lustre als Datenquelle. Dieses Feature ist in allen Regionen verfügbar, in denen die entsprechenden Dateisysteme verfügbar sind. Details zur regionalen Verfügbarkeit finden Sie in der AWS-Regionentabelle.
Weitere Informationen finden Sie in der Dokumentation und im Blogpost erfahren Sie mehr zur Verwendung des Features,