Veröffentlicht am: Dec 8, 2020
Amazon SageMaker Model Monitor überwacht kontinuierlich Modelle für maschinelles Lernen auf Konzeptdrift (d. H. Änderungen der Datenverteilung und der Eigenschaften im Laufe der Zeit) und benachrichtigt Sie, wenn Abweichungen auftreten, damit Sie Abhilfemaßnahmen ergreifen können. Ab heute können Sie auch Amazon SageMaker Model Monitor verwenden, um Abweichungen in Bezug auf Modellqualität, Verzerrung und Funktionsbedeutung zu erkennen. Mit diesen neuen vollständig verwalteten Funktionen unterstützt Sie SageMaker Model Monitor bei der Pflege hochwertiger Modelle für maschinelles Lernen in der Produktion.
Amazon SageMaker Model Monitor unterstützt derzeit das Erkennen von Abweichungen in der Datenqualität, indem der Unterschied zwischen den Daten, die zum Trainieren der Modelle verwendet wurden, und den Daten, die dem Modell zur Bewertung präsentiert werden, verfolgt und Sie auf Abweichungen aufmerksam gemacht werden, damit Sie rechtzeitig Maßnahmen wie das Überwachen von Daten ergreifen können oder Retraining von Modellen. Heute erweitern wir den SageMaker Model Monitor um drei neue Funktionen, mit denen Sie Abweichungen in der Modellqualität, der Modellverzerrung und der Funktionsbedeutung erkennen können.
Mit der Überwachung der Modellqualität können Sie die Modelleigenschaften (wie Präzision, Genauigkeit, Rückruf usw.) Ihrer ML-Modelle in Echtzeit überwachen. Der SageMaker-Modellmonitor gibt an, wie gut ein ML-Modell die Ergebnisse vorhersagt, indem die Modell vorhersage mit den Daten der Grundwahrheit verglichen wird. Während das Modell überwacht wird, können Sie exportierbare Berichte und Diagramme anzeigen, in denen die Modellqualität in Amazon S3, Amazon SageMaker Studio und SageMaker Notebook-Instanz detailliert dargestellt wird. Sie können Amazon CloudWatch auch so konfigurieren, dass Benachrichtigungen empfangen werden, wenn eine Abweichung in der Modellqualität festgestellt wird.
Mit der Bias-Überwachung können Sie regelmäßig Bias in Ihren ML-Modellen erkennen. SageMaker Model Monitor ermittelt regelmäßig, wann Bias-Metriken in Werte abdriften, die statistisch voreingestellte Schwellen-werte überschreiten. Mit den Funktionen zur Bias-Überwachung in Model Monitor können Sie Metriken anzeigen und die Ergebnisse in SageMaker Studio visualisieren. Sie können auch automatische Warnungen konfigurieren, damit Sie sofort wissen, wenn Ihr Modell die von Ihnen festgelegten Bias-Metrik-Schwellen-werte überschreitet.
Nachdem Modelle in der Produktion bereitgestellt wurden, können sich die Bedeutung und die Auswirkungen bestimmter Funktionen im Modell im Laufe der Zeit ändern. Die Überwachung der Modellerklärbarkeit hilft Ihnen zu verstehen und zu interpretieren, ob die von Ihren ML-Modellen gemachten Vorhersagen auf denselben Merkmalen und in demselben Verhältnis basieren wie zu dem Zeitpunkt, als Ihr Modell trainiert wurde. Wenn Sie die Nachverfolgbarkeitsverfolgung aktivieren, erkennt SageMaker Model Monitor automatisch die Drift in Bezug auf die relative Bedeutung von Features, ermöglicht die Visualisierung dieser Änderungen in SageMaker Studio und kann wie alle anderen SageMaker Model Monitor-Funktionen mit Amazon CloudWatch so konfiguriert werden, dass Sie pro-aktiv über Drift informiert werden ist angeschlossen.
Amazon SageMaker Model Monitor kann für neue oder vorhandene Inferenzendpunkte in Echtzeit aktiviert werden. Nach der Aktivierung speichert SageMaker Model Monitor Vorhersageanforderungen und -antworten in Amazon S3, vergleicht die Modellvorhersagen mit den von Ihnen angegebenen tatsächlichen oder Grundwahrheiten, führt integrierte oder benutzerdefinierte Regeln aus, um Abweichungen von einer Basislinie zu erkennen, und benachrichtigt Sie, wenn Abweichungen auftreten. Infolgedessen können Sie Hunderte von Modellen auf standardisierte Weise in Ihrem Unternehmen auf Abweichungen in der Datenqualität, Modellqualität, Modellverzerrung und Funktionsbedeutung überwachen, ohne zusätzliche Tools erstellen zu müssen. Überwachung Jobs können so geplant werden, dass sie mit einer regelmäßigen Trittfrequenz (z. B. stündlich oder täglich) ausgeführt werden und Berichte sowie Metriken an Amazon CloudWatch und Amazon S3 senden. Die Überwachungsergebnisse stehen auch in Amazon SageMaker Studio zur visuellen Überprüfung zur Verfügung. Sie können die Ergebnisse auch mithilfe einer Amazon SageMaker-Notebook-Instanz weiter analysieren.
Amazon SageMaker Model Monitor ist in allen kommerziellen Regionen verfügbar, in denen Amazon SageMaker verfügbar ist. Sie erhalten außerdem bis zu 30 Stunden Überwachung, die jeden Monat kostenlos auf allen Endpunkten zusammengefasst werden, wenn Sie integrierte Überwachungsregeln mit der Standard Instanz ml.m5.xlarge verwenden. Weitere Informationen und Beispiel Notizbücher finden Sie in der Dokumentation.