Veröffentlicht am: Sep 3, 2019
Amazon SageMaker-Kunden können jetzt kleinere Amazon FSx for Lustre-Dateisysteme als Datenquelle für das Training von Machine-Learning-Modellen verwenden. Bis dato war das kleinste erstellbare Dateisystem in FSx for Lustre 3,6 TB groß. Für kleinere Trainingssätze können Kunden jetzt Dateisysteme mit einer Größe von 1,2 TB erstellen und verwenden.
Amazon FSx for Lustre ist ein hochleistungsfähiges Dateisystem, das mit Amazon S3-Daten arbeitet und für Workloads wie Machine Learning, Analysen und High Performance Computing optimiert ist.
Mit FSx for Lustre können Kunden ihre Trainingsjobs in Amazon SageMaker bedeutend beschleunigen. Bis der Support von Amazon FSx for Lustre am 27. August 2019 bekannt gegeben wurde, hat Amazon SageMaker den vollständigen Trainingssatz von Amazon S3 heruntergeladen, um im Dateieingabemodus zu Beginn eines Trainingsjobs auf den lokalen Dateispeicher zugreifen zu können. Jetzt können Kunden im Dateimodus ihre Trainingsjobs beschleunigen, da bei Amazon FSx for Lustre die Zeit für das Herunterladen wie bei Amazon S3 wegfällt. Wenn das Dateisystem Amazon FSx for Lustre mit Amazon S3 verknüpft ist, kopiert es automatisch Objekte von Amazon S4 in das Dateisystem, wenn zum ersten Mal auf diese Objekte zugegriffen wird. Das selbe Amazon FSx for Lustre-Dateisystem kann auch für iterative Amazon SageMaker-Trainingsjobs in den selben Datensätzen verwendet werden, um das wiederholte Herunterladen ähnlicher Objekte zu vermeiden. Amazon FSx for Lustre bietet auch Support für kleinere Dateisystem und kann daher jetzt auch für noch mehr Machine-Learning-Workloads verwendet werden.
Kleinere Amazon FSx for Lustre-Dateisysteme sind nun in den folgenden AWS-Regionen erhältlich: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), USA West (Nordkalifornien), EU (Irland), EU (Frankfurt), und Asien-Pazifik (Tokio). Details zur regionalen Verfügbarkeit finden Sie in der AWS-Regionentabelle.
Weitere Informationen finden Sie in der Dokumentation und im Blogpost erfahren Sie mehr zur Verwendung des Features,