Veröffentlicht am: Nov 22, 2023
Der Amazon-S3-Connector für PyTorch bietet einen hohen Durchsatz für PyTorch-Trainingsaufträge, die auf Daten in Amazon S3 zugreifen und diese speichern. PyTorch ist ein Open-Source-Framework für Machine Learning, das von AWS-Kunden häufig zum Erstellen und Trainieren von Machine-Learning-Modellen verwendet wird. Der Amazon-S3-Connector für PyTorch optimiert automatisch S3-Lese- und Listenanfragen, um das Laden von Daten und die Checkpoint-Leistung für Ihre Trainingsworkloads zu verbessern. Das Speichern von Checkpoints für Machine-Learning-Trainingsmodelle ist mit dem Amazon-S3-Connector für PyTorch bis zu 40 % schneller als das Speichern im Amazon-EC2-Instance-Speicher.
Der Amazon S3-Connector für PyTorch bietet eine neue Implementierung des Datensatz-Primitivs von PyTorch, mit der Sie Trainingsdaten aus Amazon S3 laden können. Er unterstützt sowohl Datensätze im Kartenstil für zufällige Datenzugriffsmuster als auch Datensätze im iterierbaren Stil für sequenzielle Datenzugriffsmuster. Der Amazon-S3-Connector für PyTorch enthält auch eine Checkpoint-Schnittstelle zum Speichern und Laden von Checkpoints direkt in Amazon S3 ohne vorheriges Speichern im lokalen Speicher und ohne dass benutzerdefinierter Code für den Upload in Amazon S3 geschrieben werden muss.
Amazon-S3-Connector für PyTorch ist ein Open-Source-Projekt. Informationen zu den ersten Schritten finden Sie auf der Github-Seite.