Veröffentlicht am: Dec 8, 2020
Wir freuen uns mit Amazon SageMaker Debugger neue Funktionen mit Echtzeitüberwachung der Systemressourcen für eine effiziente Nutzung bekannt zu geben. Mit diesen neuen Funktionen können Sie jetzt automatisch Empfehlungen erhalten, um Ressourcen für Ihre Trainings Jobs neu zuzuweisen. So können Sie besser trainieren und Zeit und Kosten reduzieren.
Amazon SageMaker Debugger ist eine Funktion von Amazon SageMaker die es einfacher macht, ML-Modelle schneller zu trainieren, indem Echtzeitmetriken wie Lerngradienten und Gewichte erfasst werden und Transparenz über den Trainingsprozess bereitgestellt wird. Sie können Anomalien wie Verluste,Überanpassungen und Übertraining korrigieren. SageMaker Debugger bietet integrierte Techniken, die als Regeln bezeichnet werden, um auf einfache Weise emittierte Daten zu analysieren, einschließlich Tensoren, die für den Erfolg von Training Jobs entscheidend sind z.B die Ermittlung, warum Ihr ML-Modell ein rechtes Verkehrssignal als links vorhersagt, obwohl es mit einer Genauigkeit von über 90% trainiert wurde.
Mit neuen Profiling-Funktionen überwacht SageMaker Debugger jetzt automatisch Systemressourcen wie CPU, GPU, Netzwerk, E/A und Speicher und bietet so eine vollständige Ansicht der Ressourcenauslastung von Trainings Jobs. Sie können auch Ihren gesamten Trainings Job oder Teile davon profilieren, um detaillierte Framework-Metriken in verschiedenen Phasen des Trainings Jobs auszugeben. Framework-Metriken sind Metriken, die aus dem Trainingsskript erfasst werden z B. Schrittdauer, Laden von Daten, Vorverarbeitung und Ausführungszeit des Bedieners auf CPUs und GPUs. SageMaker Debugger korreliert System- und Framework-Metriken, mit deren Hilfe Sie mögliche Grundursachen für Probleme wie die auf Null gesunkene GPU-Auslastung identifizieren können, damit Sie Ihre Trainingsskripte überprüfen und geeignete Fehler beheben können. Sie können Ressourcen basierend auf den Empfehlungen aus dem Profilierungsbericht neu zuweisen, um die Trainingszeit zu verbessern und die Kosten zu senken. Metriken und Erkenntnisse werden programmgesteuert mit dem SageMaker Python SDK oder visuell über Amazon SageMaker Studio erfasst und überwacht.
Amazon SageMaker Debugger ist jetzt allgemein in allen AWS-Regionen in Amerika und Europa sowie in einigen Regionen im asiatisch-pazifischen Raum verfügbar. Weitere Regionen folgen in Kürze. Weitere Informationen und Beispiel Notizbücher finden Sie in der Dokumentation. Besuchen Sie den Blog Beitrag, um zu erfahren, wie Sie die neuen Profiling-Funktionen in SageMaker Debugger verwenden.