Amazon SageMaker AI unterstützt jetzt SOCI-indizierte Images, damit Trainingsjobs innerhalb von Sekunden starten
Heute kündigt Amazon SageMaker AI die Unterstützung von Container-Images mit Seekable-OCI-(SOCI)-Index für Trainings- und Verarbeitungsjobs an. Dadurch können Ihre Jobs den Code schneller ausführen. SOCI-indizierte Images starten Amazon-SageMaker-AI-Trainingscontainer innerhalb von Sekunden und reduzieren die GPU-Leerlaufzeit beim Abrufen der Images um bis zu 90 %, ohne die Trainingsleistung zu beeinträchtigen. Bevor ein Trainings- oder Verarbeitungsjob ausgeführt werden kann, lädt SageMaker AI das zugehörige Container-Image auf die Instance herunter. Bei Deep-Learning-Images, die häufig größer als 10 GB sind, verlängert dieser Download den Start jedes Jobs um mehrere Minuten und für diese Zeit fallen bereits Kosten an. Wenn Ihr Image einen SOCI-Index enthält, lädt SageMaker AI es jetzt nach Bedarf. Dabei werden zunächst nur die Dateien abgerufen, die zum Starten des Containers benötigt werden. Die übrigen Dateien werden während der Codeausführung im Hintergrund gestreamt.
Um diese Funktion zu nutzen, referenzieren Sie in Ihrem Trainings- oder Verarbeitungsjob ein SOCI-indiziertes Image aus einem privaten Amazon-ECR-Repository. Sie können einen vorindizierten AWS Deep Learning Container verwenden, indem Sie das Image-Tag auf die Variante mit dem Suffix -soci ändern. Alternativ können Sie Ihrem eigenen Image in Amazon ECR mithilfe von Open-Source-Tools einen SOCI-Index hinzufügen, ohne das Image neu erstellen zu müssen. Änderungen an Ihrer Jobdefinition, Ihrem Einstiegspunkt oder Ihren Datenkanälen sind nicht erforderlich. SageMaker AI prüft automatisch, ob ein Index vorhanden ist. Images ohne Index werden weiterhin wie bisher heruntergeladen. Wenn ein Index nicht verwendet werden kann, greift der Job auf einen regulären Download zurück und wird anschließend weiter ausgeführt.
SOCI-indizierte Images für SageMaker-AI-Trainings- und Verarbeitungsjobs sind ab heute in allen AWS-Regionen verfügbar, in denen SageMaker AI angeboten wird. Der Zugriff erfolgt über die SageMaker-AI-APIs, CLIs, SDKs und die Konsole. Weitere Informationen finden Sie in der Dokumentation zu Trainingsjobs und Verarbeitungsjobs sowie im Blogbeitrag zur Einführung.