Veröffentlicht am: Nov 2, 2022
Amazon-SageMaker-Autopilot-Experimente mit Hyperparameter-Training sind bis zu zweimal schneller bei der Generierung von ML-Modellen auf Datensätzen mit mehr als 100 MB und 100 oder mehr Versuchen. Amazon SageMaker Autopilot erstellt, trainiert und optimiert automatisch die besten ML-Modelle basierend auf deinen Daten und ermöglicht dir gleichzeitig die vollständige Kontrolle und Sichtbarkeit.
SageMaker Autopilot bietet zwei Trainingsmodi – Hyperparameter Optimization (HPO) und Ensemble. Im HPO-Modus wählt SageMaker Autopilot die für den Datensatz am besten geeigneten Algorithmen aus und bestimmt den besten Bereich von Hyperparametern, um die Modelle mithilfe der Bayes'schen Optimierung zu optimieren. Bei größeren Datensätzen (> 100 MB) kann die Optimierung mit der Bayes'schen Optimierung jedoch länger dauern. Ab heute verwendet SageMaker Autopilot eine neue Multi-Fidelity-Hyperparameter-Optimierungsstrategie (HPO), die den hochmodernen Hyperband-Optimierungsalgorithmus für Datensätze mit mehr als 100 MB und 100 oder mehr Versuchen einsetzt, während die Bayes'sche Optimierungsstrategie weiterhin für Datensätze mit weniger als 100 MB genutzt wird. Mit der Multi-Fidelity-Optimierungsstrategie werden Versuche, die im Hinblick auf eine ausgewählte Zielgröße schlecht abschneiden, frühzeitig abgebrochen, sodass Ressourcen für Versuche mit guter Leistung frei werden. Dies wiederum reduziert die Optimierungszeit für SageMaker-Autopilot-Experimente im HPO-Trainingsmodus auf großen Datensätzen.
Mit dieser Version erfolgt das Modelltraining und die Optimierung bis zu 2-mal schneller als zuvor, sodass die Kunden schneller das leistungsstärkste ML-Modell erstellen können. Zur Bewertung der Leistungsverbesserungen verwendeten wir mehrere OpenML Benchmark-Datensätze in verschiedenen Größen von 100 MB bis 10 GB. Unsere Ergebnisse zeigen, dass bei mittelgroßen Datensätzen (100 MB bis 1 GB) eine Laufzeitverbesserung von 41 % (von durchschnittlich 345 auf 203 Minuten) und bei sehr großen Datensätzen (> 1 GB) eine Laufzeitverbesserung von 48 % (von durchschnittlich 2 010 auf 1 053 Minuten) erzielt wurde. Mit dieser Verbesserung kannst du deine SageMaker-Autopilot-Experimente nun schneller ausführen, ohne Änderungen an bestehenden Job-Konfigurationen vornehmen zu müssen.
Weitere Informationen findest du in der Dokumentation. Mehr über SageMaker Autopilot erfährst du auf der Produktseite.