ML-Governance mit Amazon SageMaker
Zugriffskontrolle vereinfachen und die Transparenz erhöhen
Generieren Sie benutzerdefinierte Rollen, mit denen Machine Learning (ML)-Experten schneller mit SageMaker arbeiten können.
Optimieren Sie die Modelldokumentation und bieten Sie Einblicke in wichtige Annahmen, Merkmale und Artefakte von der Konzeption bis zur Bereitstellung.
Überprüfen Sie die Leistung aller Modelle, Endpunkte und Modellüberwachungsaufträge und beheben Sie Fehler über eine einheitliche Ansicht.
Verfolgen Sie Abweichungen vom erwarteten Modellverhalten sowie fehlende oder inaktive Überwachungsaufträge mit automatischen Warnmeldungen.
Amazon SageMaker bietet speziell entwickelte Governance-Tools, die Sie bei der verantwortungsvollen Implementierung von ML unterstützen. Mit Amazon SageMaker Role Manager können Administratoren in wenigen Minuten Mindestberechtigungen definieren. Amazon SageMaker Model Cards vereinfacht die Erfassung, den Abruf und die Freigabe wesentlicher Modellinformationen wie Verwendungszwecke, Risikobewertungen und Trainingsdetails, von der Konzeption bis zur Bereitstellung. Amazon SageMaker Model Dashboard informiert Sie über das Verhalten des Modells in der Produktion – alles an einem Ort.
Sehen Sie sich dieses Video an und erfahren Sie, wie Sie mit SageMaker die Transparenz Ihrer ML-Modelle verbessern können.
Funktionsweise
ML-Governance mit Amazon SageMaker verwendet SageMaker Role Manager, SageMaker Model Cards und SageMaker Model Dashboard, um die Zugriffskontrolle zu vereinfachen und die Transparenz Ihrer ML-Projekte zu verbessern.
Amazon SageMaker enthält drei wichtige ML-Governance-Funktionen: Amazon SageMaker Role Manager, Amazon SageMaker Model Cards und Amazon SageMaker Model Dashboard. Der erste Abschnitt des Diagramms trägt den Titel „ML-Governance mit Amazon SageMaker“. Die Beschreibung lautet „Vereinfachen Sie die Zugriffskontrolle und verbessern Sie die Transparenz Ihrer ML-Projekte.“
Der zweite Abschnitt zeigt den Onboarding-Prozess, an dem SageMaker Role Manager beteiligt ist. SageMaker Role Manager definiert Mindestberechtigungen in Minutenschnelle, indem es die Einrichtung von Berechtigungen für ML-Aufgaben vereinfacht und benutzerdefinierte IAM-Richtlinien automatisch generiert.
Der dritte Abschnitt ist Teil des Modelllebenszyklus, der das Vorbereiten, Erstellen, Trainieren, Bereitstellen und Überwachen von Modellen umfasst. Mit SageMaker Model Cards können Sie die Modelldokumentation zentralisieren und standardisieren, Modelldetails automatisch ausfüllen und in ein PDF-Dokument exportieren. Mit dem SageMaker Model Dashboard können Sie die Modellleistung über eine einheitliche Ansicht überwachen, an einem Ort auf Modelleinblicke zugreifen und integrierte Benachrichtigungen erhalten.
SageMaker Model Cards und SageMaker Model Dashboard sind mit Amazon SageMaker Model Monitor integriert, mit dem Sie Modelle auf Abweichungen überwachen können. Amazon SageMaker Clarify unterstützt Sie dabei, Verzerrungen zu erkennen und das Modellverhalten zu erklären.
Wichtigste Funktionen
Festlegen von Mindestberechtigungen in Minutenschnelle mit SageMaker Role Manager
Vereinfachen Sie die Berechtigungen für ML-Aktivitäten
SageMaker Role Manager bietet einen Basissatz von Berechtigungen für ML-Aktivitäten und Personas durch einen Katalog von vorgefertigten AWS-Identity-and-Access-Management-Richtlinien (IAM). Zu den ML-Aktivitäten können Datenvorbereitung und Training gehören, und zu den Personas können ML-Ingenieure und Datenwissenschaftler gehören. Sie können die Basisberechtigungen beibehalten oder sie basierend auf Ihren spezifischen Anforderungen weiter anpassen.
Automatisierung der Generierung von IAM-Richtlinien
Mit ein paar selbstgesteuerten Eingabeaufforderungen können Sie schnell allgemeine Governance-Konstrukte wie Netzwerkzugriffsgrenzen und Verschlüsselungsschlüssel eingeben. SageMaker Role Manager erstellt die IAM-Richtlinie dann automatisch. Sie können die generierte Rolle und die zugehörigen Richtlinien über die AWS-IAM-Konsole einsehen.
Anfügen Ihrer verwalteten Richtlinien
Um die Berechtigungen weiter auf Ihren Anwendungsfall anzupassen, verknüpfen Sie Ihre verwalteten IAM-Richtlinien mit der IAM-Rolle, die Sie mit SageMaker Role Manager erstellen. Sie können auch Tags hinzufügen, um die Rollen über AWS-Services hinweg zu identifizieren und zu organisieren.
Optimierung der Modelldokumentation mit SageMaker Model Cards
Erfassen von Modellinformationen
SageMaker Model Cards ist ein Repository für Modellinformationen in der Amazon-SageMaker-Konsole und unterstützt Sie bei der Zentralisierung und Standardisierung der Modelldokumentation, damit Sie ML verantwortungsvoll implementieren können. Sie können Trainingsdetails wie Eingabedatensätze, Trainingsumgebungen und Trainingsergebnisse automatisch ausfüllen, um den Dokumentationsprozess zu beschleunigen. Sie können auch Details wie den Modellzweck und Leistungsziele hinzufügen.
Visualisierung der Auswertungsergebnisse
Sie können Ihrer Modellkarte Auswertungsergebnisse wie Verzerrungen und Qualitätsmetriken anfügen und Visualisierungen wie Diagramme hinzufügen, um wichtige Einblicke in die Modellleistung zu erhalten.
Freigabe von Modellkarten
Sie können Ihre Modellkarten in ein PDF-Format exportieren, um sie auf einfachere Weise für Geschäftsbeteiligten, internen Teams oder Ihren Kunden freizugeben.
Vereinheitlichte Modellüberwachung mit SageMaker Model Dashboard
Modellverhalten nachverfolgen
SageMaker Model Dashboard gibt Ihnen einen umfassenden Überblick über bereitgestellte Modelle und Endpunkte, so dass Sie Ressourcen und Verletzungen des Modellverhaltens an einem Ort verfolgen können. Sie können das Modellverhalten in vier Dimensionen überwachen: Datenqualität, Modellqualität, Abweichung von der Norm und Abweichung von der Merkmalszuordnung. SageMaker Model Dashboard überwacht das Verhalten durch seine Integration mit Amazon SageMaker Model Monitor und Amazon SageMaker Clarify.
Die oben gezeigte Risikoeinstufung dient nur zur Veranschaulichung und kann aufgrund der von Ihnen gemachten Angaben variieren.
Warnmeldungen automatisieren
SageMaker Model Dashboard bietet eine integrierte Funktion zum Einrichten und Empfangen von Warnmeldungen für fehlende und inaktive Modellüberwachungsaufträge und Abweichungen im Modellverhalten.
Die oben gezeigte Risikoeinstufung dient nur zur Veranschaulichung und kann aufgrund der von Ihnen gemachten Angaben variieren.
Fehlerbehebung bei Modellabweichungen
Sie können einzelne Modelle weiter untersuchen und die Faktoren analysieren, die sich im Laufe der Zeit auf die Modellleistung auswirken. Anschließend können Sie sich an ML-Experten wenden, um Korrekturmaßnahmen zu ergreifen.
Kunden
„Bei United Airlines verwenden wir Machine Learning (ML), um das Kundenerlebnis zu verbessern. Wir bieten personalisierte Angebote und ermöglichen es unseren Kunden, sich mithilfe des Travel Readiness Center vorzubereiten. Unser Einsatz von ML erstreckt sich auch auf den Flughafenbetrieb, die Netzplanung und die Flugplanung. Als wir die Pandemie überwunden hatten, spielte Amazon SageMaker eine entscheidende Rolle im Travel Readiness Center. Es ermöglichte uns, große Mengen an COVID-Testzertifikaten und Impfpässen mithilfe von dokumentenbasierter Modellautomatisierung zu verarbeiten. Mit den neuen Governance-Funktionen von Amazon SageMaker haben wir die Kontrolle und Sichtbarkeit über unsere Machine Learning-Modelle verbessert. SageMaker Role Manager vereinfacht den Einrichtungsprozess für Benutzer erheblich, indem es Basisberechtigungen und ML-Aktivitäten für jede mit IAM-Rollen verknüpfte Persona bereitstellt. Mit SageMaker Model Cards können unsere Teams proaktiv Modellinformationen erfassen und zur Überprüfung freigeben. Mit SageMaker Model Dashboard können wir die auf MARS, unserer internen ML-Plattform, bereitgestellten Modelle suchen und anzeigen. Mit all diesen neuen Governance-Funktionen sparen wir viel Zeit und können skalieren.“
Ashok Srinivas, Director of ML Engineering and Ops, United Airlines
„Bei Capitec verfügen wir über ein breites Spektrum an Datenwissenschaftlern, die in unseren Produktlinien verschiedene ML-Lösungen entwickeln. Unsere ML-Ingenieure verwalten eine zentralisierte Modellierungsplattform, die auf Amazon SageMaker erstellt wurde, um die Entwicklung und Bereitstellung all dieser ML-Lösungen zu ermöglichen. Ohne integrierte Tools führt die Nachverfolgung von Modellierungsbemühungen zu unzusammenhängender Dokumentation und mangelnder Modellsichtbarkeit. Mit SageMaker Model Cards können wir zahlreiche Modellmetadaten in einer einheitlichen Umgebung verfolgen, und SageMaker Model Dashboard bietet uns Einblick in die Leistung jedes Modells. Darüber hinaus vereinfacht der SageMaker Role Manager den Prozess der Zugriffsverwaltung für Datenwissenschaftler in unseren verschiedenen Produktlinien. All dies trägt dazu bei, dass unsere Modell-Governance ausreicht, um das Vertrauen unserer Kunden in uns als Finanzdienstleister zu rechtfertigen.“
Dean Matter, ML-Ingenieur, Capitec Bank
Ressourcen
Bleiben Sie auf dem Laufenden mit den neuesten SageMaker-ML-Governance-Ankündigungen.
Sehen Sie sich die technische Dokumentation an, um zu erfahren, wie Sie die SageMaker ML-Governance-Funktionen nutzen können.
Beschleunigen Sie die Integration von Governance-Tools in ML-Workloads.
„Verbessern der ML-Governance mit Deep-Control und Transparenz in SageMaker“ – Vortrag aus der AWS re:Invent 2022.
Mit dem Role Manager von Amazon SageMaker innerhalb von Minuten benutzerdefinierte Berechtigungen definieren.