Veröffentlicht am: Mar 13, 2024
Der Amazon S3 Connector für PyTorch unterstützt jetzt das direkte Speichern von Prüfpunkten für PyTorch-Lightning-Modelle in Amazon S3, wodurch die Kosteneffizienz und Leistung Ihrer Machine-Learning-Trainingsaufträge gesteigert wird. PyTorch Lightning ist ein Open-Source-Framework, das eine High-Level-Schnittstelle für das Training mit PyTorch bereitstellt. Der Amazon-S3-Connector für PyTorch optimiert automatisch S3-Lese- und Listenanfragen, um das Laden von Daten zu beschleunigen und die Prüfpunkteistung für Ihre Workloads zu erhöhen. Das Speichern von Prüfpunkten für PyTorch-Lightning-Modelle ist mit dem Amazon-S3-Connector für PyTorch bis zu 40 % schneller als das Speichern im Amazon-EC2-Instance-Speicher.
Der Amazon S3 Connector für PyTorch stellt Ihnen die neue Implementierung der Prüfpunktstruktur von PyTorch Lightning zur Verfügung, so können Sie Prüfpunkte von Machine-Learning-Modellen direkt in Amazon S3 speichern. Das Setzen von Prüfpunkten für Modelle, erfordert in der Regel das Anhalten von Trainingsauträgen, sodass die Zeit, die zum Speichern eines Prüfpunkts benötigt wird, sich auf die gesamte Trainingszeit auswirkt. Durch die Integration können Sie Prüfpunkte direkt von PyTorch-Trainingsaufträgen in Amazon S3 speichern, laden und löschen.
Amazon-S3-Connector für PyTorch ist ein Open-Source-Projekt. Informationen zu den ersten Schritten finden Sie auf der Github-Seite.