Veröffentlicht am: Dec 1, 2021
Amazon SageMaker Pipelines, ein vollständig verwalteter Service, mit dem Sie End-to-End-Workflows für Machine Learning (ML) erstellen, automatisieren und verwalten können, unterstützt jetzt die Integration mit Amazon SageMaker Model Monitor und Amazon SageMaker Clarify. Mit diesen Integrationen können Sie Modellqualität und Abweichungs-Erkennung ganz einfach in Ihren ML-Workflow integrieren. Die verstärkte Automatisierung kann dazu beitragen, Ihren Betriebsaufwand beim Erstellen und Verwalten von ML-Modellen zu reduzieren.
Mit SageMaker Model Monitor und SageMaker Clarify können Sie die Qualitäts- und Abweichungsmetriken von ML-Modellen in der Produktion kontinuierlich überwachen, sodass Sie Warnungen einrichten oder ein erneutes Training auslösen können, wenn das Modell oder die Datenqualität schwankt. Um die Modellüberwachung einzurichten, müssen Sie eine Baseline-Metrik für die Daten- und Modellqualität festlegen, die SageMaker Model Monitor dann zum Messen der Schwankungen verwenden kann. Mit der neuen Integration können Sie die Baseline für die Modell- und Datenqualität automatisch als Teil der Modellerstellungspipeline erfassen, sodass diese Metriken nicht außerhalb des Modellerstellungsworkflows berechnet werden müssen. Sie können QualityCheckStep und ClarifyCheckStep auch in SageMaker-Pipelines verwenden, um die Modelltrainingspipeline zu stoppen, wenn eine Abweichung von der zuvor bekannten Baseline-Metrik erkannt wird. Nach der Berechnung können Sie auch berechnete Qualitäts- und Abweichungsmetriken zusammen mit den Baselines in der Modellregistrierung speichern und anzeigen.
Diese Integration ist auch als Vorlage in SageMaker-Projekten verfügbar, sodass Sie automatisch Modellüberwachungs- und Abweichungs-Erkennungsaufträge planen können, indem Sie die Baseline-Metriken nutzen, die in der Modellregistrierung aufgezeichnet sind. Erstellen Sie zunächst ein neues SageMaker-Projekt aus dem SageMaker Studio oder der Befehlszeilenschnittstelle mit der neuen Modellüberwachungsvorlage. Weitere Informationen finden Sie auf unserer Dokumentationsseite zu Prüfschritten in Sagemaker Pipelines, Metriken/Baselines in Model Registry, Sagemaker Model Monitor und Model-Überwachungs-CI/CD-Vorlage.