Amazon SageMaker Clarify
Abweichungen in ML-Daten und -Modellen erkennen und Modellvorhersagen erklären
Erklären, wie die eingegebenen Merkmale zu den Vorhersagen Ihres Modells in Echtzeit beigetragen haben
Potenzielle Abweichungen während der Datenvorbereitung, nach der Modellschulung und in Ihrem bereitgestellten Modell erkennen.
Etwaige Abweichungen in der Ausrichtung und der Wichtigkeit von Funktionen nach der Bereitstellung identifizieren.
Amazon SageMaker Clarify bietet Machine Learning (ML)-Entwicklern zwecksbestimmte Tools um tiefere Erkenntnisse in ihre ML-Trainingsdaten und -Modelle zu erhalten. SageMaker Clarify erkennt und misst potenzielle Abweichungen mithilfe einer Vielzahl an Metriken, sodass ML-Entwickler potenzielle Abweichungen ansprechen und Modellvoraussagen erklären können.
SageMaker Clarify kann auch potenzielle Abweichungen während der Datenvorbereitung, nach der Modellschulung und in Ihrem bereitgestellten Modell erkennen. Sie können zum Beispiel auf Abweichungen in Bezug auf das Alter in Ihrem Datensatz oder in Ihrem trainierten Modell prüfen, und erhalten einen detaillierten Bericht, der verschiedene Arten von potenziellen Abweichungen gemessen hat. SageMaker Clarify enthält auch Bewertungen der Wichtigkeit von Merkmalen, die Ihnen helfen zu erklären, wie Ihr Modell Vorhersagen macht, und erstellt Erklärbarkeitsberichte in großem Umfang oder in Echtzeit über die Online-Erklärbarkeit. Sie können diese Berichte verwenden, um Kunden oder interne Präsentationen zu unterstützen oder um mögliche Probleme mit Ihrem Modell zu erkennen.
Abweichungen in Ihren Daten und Ihren Modellvorhersagen erkennen
Unausgeglichenheiten in den Daten identifizieren
Mit SageMaker Clarify können Sie als Teil von Amazon SageMaker Data Wrangler potenzielle Abweichungen bei der Datenaufbereitung erkennen, ohne dass Sie Ihren eigenen Code schreiben müssen. Sie geben Eingabemerkmale wie Geschlecht oder Alter an, und SageMaker Clarify führt einen Analyseauftrag aus, um mögliche Abweichungen in diesen Merkmalen zu erkennen. SageMaker Clarify liefert dann einen visuellen Bericht mit einer Beschreibung der Metriken und Messungen potenzieller Abweichungen, sodass Sie Schritte zur Beseitigung der Abweichungen festlegen können. In einem Finanzdatensatz, der nur wenige Beispiele für Geschäftskredite an eine Altersgruppe im Vergleich zu anderen enthält, zeigen die Abweichungsmetriken das Ungleichgewicht an, sodass Sie die Ungleichgewichte in Ihrem Datensatz beheben und möglicherweise das Risiko eines Modells verringern können, das für eine bestimmte Altersgruppe unverhältnismäßig ungenau ist.
Bei Unausgewogenheiten können Sie SageMaker Data Wrangler verwenden, um Ihre Daten abzugleichen. SageMaker Data Wrangler bietet drei Ausgleichsoperatoren: zufälliges Undersampling, zufälliges Oversampling und SMOTE, um die Daten in Ihren unausgewogenen Datensätzen wieder auszugleichen. In unserem Blog-Beitrag finden Sie weitere Informationen.
Abweichungen in trainierten Modellen prüfen
Nachdem Sie Ihr Modell trainiert haben, können Sie eine SageMaker-Clarify-Verzerrungsanalyse über Amazon SageMaker Experiments durchführen, um Ihr Modell auf mögliche Verzerrungen zu überprüfen, z. B. auf Vorhersagen, die für eine Gruppe häufiger ein negatives Ergebnis liefern als für eine andere. Sie geben Eingabemerkmale an, anhand derer Abweichungen in den Modellergebnisses gemessen werden sollen, wie Alter, und SageMaker führt eine Analyse durch und stellt Ihnen einen visuellen Bericht zur Verfügung, der die verschiedenen Arten von Abweichungen für jedes Merkmal identifiziert, z. B. ob ältere Gruppen im Vergleich zu jüngeren Gruppen mehr positive Vorhersagen erhalten.
Die Open-Source-Methode Fair Bayesian Optimization von AWS kann dazu beitragen, Abweichungen durch die Abstimmung der Hyperparameter eines Modells abzuschwächen. Lesen Sie unseren Blogbeitrag, um zu erfahren, wie Sie die Fair Bayesian Optimization anwenden, um Abweichungen zu verringern und gleichzeitig die Genauigkeit eines Machine-Learning-Modells zu optimieren.
Ihre Modelle auf Abweichungen überwachen
SageMaker Clarify hilft Datenwissenschaftlern und ML-Ingenieuren, Vorhersagen regelmäßig auf Abweichungen zu überwachen. Abweichungen können in eingesetzten ML-Modellen entstehen oder sich verschlimmern, wenn sich die Trainingsdaten von den Daten unterscheiden, die das Modell während der Bereitstellung sieht. So können beispielsweise die Ergebnisse eines Modells zur Vorhersage von Immobilienpreisen abweichen, wenn die Hypothekenzinsen, die zum Trainieren des Modells verwendet wurden, von den aktuellen Hypothekenzinsen abweichen. Die Funktionen von SageMaker Clarify zur Erkennung von Abweichungen sind in Amazon SageMaker Model Monitor integriert, sodass SageMaker automatisch Metriken generiert, wenn es eine Abweichung über einen bestimmten Schwellenwert hinaus erkennt, die Sie in Amazon SageMaker Studio und über Amazon-CloudWatch-Metriken und -Alarme anzeigen können.
Modellvoraussagen erklären
Verstehen, welche Merkmale am meisten zur Modellvorhersage beitragen
Ihre Modelle für Computer Vision und NLP erklären
Modell auf Verhaltensveränderungen überwachen
Individuelle Modellprognosen in Echtzeit erklären
Anwendungsfälle
Datenwissenschaft
Datenwissenschaftler und ML-Engineers benötigen Tools, um die nötigen Erkenntnisse zu gewinnen, die sie zum Debuggen und Verbessern von ML-Modellen durch besseres Feature Engineering benötigen. Diese Erkenntnisse helfen ihnen festzustellen, ob ein Modell Schlussfolgerungen auf der Grundlage verrauschter oder irrelevanter Merkmale zieht, und die Grenzen ihrer Modelle und die Fehlermöglichkeiten zu verstehen, auf die ihre Modelle stoßen könnten.
Business
Compliance
Kunden
Bundesliga Match Facts, powered by AWS, bietet Bundesliga-Fans auf der ganzen Welt ein besseres Fan-Erlebnis bei Fußballspielen. Mit Amazon SageMaker Clarify kann die Bundesliga nun interaktiv erklären, was einige der wichtigsten, zugrunde liegenden Komponenten sind, die das ML-Modell dazu veranlasst haben, einen bestimmten xGoals-Wert vorherzusagen. Die Kenntnis der jeweiligen Merkmalszuordnungen und der erklärenden Ergebnisse hilft bei der Modellfehlersuche und erhöht das Vertrauen in ML-Algorithmen, was zu qualitativ hochwertigeren Prognosen führt.
„Amazon SageMaker Clarify lässt sich nahtlos in die gesamte digitale Plattform der Bundesliga Match Facts integrieren und ist ein wichtiger Bestandteil unserer langfristigen Strategie, unsere ML-Workflows bei Amazon SageMaker zu standardisieren. Durch den Einsatz innovativer AWS-Technologien wie Machine Learning, um tiefere Einblicke zu liefern und den Fans ein besseres Verständnis für die sekundenschnellen Entscheidungen auf dem Spielfeld zu vermitteln, ermöglicht Bundesliga Match Facts den Zuschauern einen tieferen Einblick in die wichtigsten Entscheidungen in jedem Spiel.“
Andreas Heyden, Executive Vice President of Digital Innovations, DFL Group
CAPCOM ist ein japanischer Spielehersteller, der für Spiele wie die Monster-Hunter-Serie und Street Fighter bekannt ist. Um die Zufriedenheit der Nutzer aufrechtzuerhalten, musste CAPCOM die Qualität der Spiele sicherstellen und mögliche Abwanderer und deren Trends identifizieren.
„Die Kombination von AutoGluon und Amazon SageMaker Clarify ermöglichte es unserem Kundenabwanderungsmodell, die Kundenabwanderung mit einer Genauigkeit von 94 % vorherzusagen. SageMaker Clarify hilft uns, das Verhalten des Modells zu verstehen, indem es durch SHAP-Werte Erklärungsmöglichkeiten bietet. Mit SageMaker Clarify haben wir die Kosten für die Berechnung von SHAP-Werten im Vergleich zu einer lokalen Berechnung um bis zu 50 % reduziert. Die gemeinsame Lösung gibt uns die Möglichkeit, das Modell besser zu verstehen und die Kundenzufriedenheit mit einer höheren Genauigkeitsrate zu verbessern und gleichzeitig erhebliche Kosteneinsparungen zu erzielen.“
Masahiro Takamoto, Head of Data Group, CAPCOM
Domo ist die Business Cloud, die die Art und Weise, wie Unternehmen verwaltet werden, durch die Bereitstellung von moderner BI für alle verändert. Mit Domo können kritische Prozesse, die Wochen, Monate oder länger gedauert haben, jetzt spontan, in Minuten oder Sekunden und in unglaublichem Umfang durchgeführt werden.
„Domo bietet eine skalierbare Suite von Datenwissenschaftslösungen, die für jeden in einem Unternehmen einfach zu nutzen und zu verstehen sind. Mit Clarify erhalten unsere Kunden wichtige Erkenntnisse darüber, wie ihre KI-Modelle Vorhersagen treffen. Die Kombination von Clarify und Domo trägt dazu bei, die KI-Geschwindigkeit und -Intelligenz für unsere Kunden zu erhöhen, indem sie die Macht der KI in die Hände eines jeden in ihrem Unternehmen und Ökosystem legt.“
Ben Ainscough, Ph.D., Leiter des Bereichs KI und Datenwissenschaft, Domo
Die Varo Bank ist eine digitale Bank mit Sitz in den USA. Sie nutzt KI/ML, um schnelle, risikobasierte Entscheidungen zu treffen und ihren Kunden innovative Produkte und Dienstleistungen anzubieten.
„Varo setzt sich stark für die Erklärbarkeit und Transparenz unserer ML-Modelle ein, und wir sind gespannt auf die Ergebnisse von Amazon SageMaker Clarify, um diese Bemühungen voranzutreiben.“
Sachin Shetty, Head of Data Science, Varo Money