Governance del ML con Amazon SageMaker
Semplifica il controllo degli accessi e migliora la trasparenza
Generazione di ruoli personalizzati che consentono ai professionisti del machine learning (ML) di iniziare a lavorare con SageMaker più rapidamente.
Semplificazione della documentazione del modello e maggiore visibilità sulle ipotesi, le caratteristiche e gli artefatti chiave dalla concezione all'implementazione.
Verifica e risoluzione rapide delle prestazioni di tutti i modelli, gli endpoint e i processi di monitoraggio dei modelli attraverso una vista unificata.
Tracciamento delle deviazioni dal comportamento previsto del modello, nonché dei processi di monitoraggio mancanti o inattivi, con avvisi automatici.
Amazon SageMaker fornisce strumenti di governance appositamente creati per aiutarti a implementare il ML in modo responsabile. Con Amazon SageMaker Role Manager è possibile definire le autorizzazioni minime in pochi minuti. Amazon SageMaker Model Cards semplifica l'acquisizione, il recupero e la condivisione di informazioni essenziali sul modello, come gli usi previsti, le classificazioni dei rischi e i dettagli della formazione, dalla concezione all'implementazione. Amazon SageMaker Model Dashboard ti tiene informato sul comportamento del modello in produzione, tutto in un unico posto.
Guarda questo video per scoprire come migliorare la visibilità dei modelli di ML con SageMaker.
Come funziona
La governance del ML con Amazon SageMaker utilizza SageMaker Role Manager, SageMaker Model Cards e SageMaker Model Dashboard per semplificare il controllo degli accessi e migliorare la trasparenza dei progetti di ML.
Amazon SageMaker include tre principali funzionalità di governance del ML: Amazon SageMaker Role Manager, Amazon SageMaker Model Cards e Amazon SageMaker Model Dashboard. La prima sezione del diagramma è intitolata "Governance del ML con Amazon SageMaker". La descrizione riporta: "Semplifica il controllo degli accessi e migliora la trasparenza dei progetti di ML".
La seconda sezione mostra il processo di onboarding, che coinvolge SageMaker Role Manager. SageMaker Role Manager definisce le autorizzazioni minime in pochi minuti, semplificando l'impostazione delle autorizzazioni per le attività di ML e generando automaticamente policy IAM personalizzate.
La terza sezione fa parte del ciclo di vita del modello, che comprende la preparazione, la costruzione, la formazione, la distribuzione e il monitoraggio dei modelli. Con SageMaker Model Cards è possibile centralizzare e standardizzare la documentazione del modello, autocompilare i dettagli del modello ed esportarlo in PDF. Con SageMaker Model Dashboard è possibile monitorare le prestazioni del modello attraverso una vista unificata, accedere alle informazioni sul modello in un'unica posizione e ricevere notifiche integrate.
SageMaker Model Cards e SageMaker Model Dashboard sono integrati con Amazon SageMaker Model Monitor, che può essere utilizzato per monitorare i modelli per verificarne la deriva, e Amazon SageMaker Clarify, che aiuta a rilevare le distorsioni e a spiegare il comportamento del modello.
Caratteristiche principali
Definisci le autorizzazioni minime in pochi minuti con SageMaker Role Manager
Semplificare le autorizzazioni per le attività di ML
SageMaker Role Manager fornisce una serie di autorizzazioni di base per le attività di ML e profili attraverso un catalogo di policy AWS Identity and Access Management (IAM) predefinite. Le attività di ML possono includere la preparazione e l'addestramento dei dati, mentre i profili possono includere ingegneri di ML e data scientist. È possibile mantenere le autorizzazioni di base oppure personalizzarle sulla base delle proprie specifiche esigenze.
Automatizza la generazione delle policy IAM
Con una serie di istruzioni autoguidate, è possibile immettere rapidamente costrutti di governance comuni, come limiti di accesso alla rete e chiavi di crittografia. Dopodiché, SageMaker Role Manager genererà automaticamente la policy IAM. È possibile consultare il ruolo generato e le policy associate dalla console AWS IAM.
Allega le policy gestite
Per personalizzare ulteriormente le autorizzazioni in base al caso d'uso, è possibile collegare le policy IAM gestite al ruolo IAM creato con SageMaker Role Manager. È possibile aggiungere tag per facilitare l'identificazione del ruolo e consentire un maggiore coordinamento tra i servizi AWS.
Semplifica la documentazione del modello con SageMaker Model Cards
Acquisisci informazioni sul modello
SageMaker Model Cards è un repository per le informazioni sui modelli nella Console Amazon SageMaker e aiuta a centralizzare e standardizzare la documentazione dei modelli in modo da poter implementare il ML in modo responsabile. È possibile inserire automaticamente i dettagli della formazione, come i set di dati di input, gli ambienti di formazione e i risultati della formazione, per accelerare il processo di documentazione. È inoltre possibile aggiungere dettagli come lo scopo del modello e gli obiettivi di prestazione.
Visualizza i risultati della valutazione
È possibile allegare i risultati della valutazione del modello, come le metriche di bias e di qualità, alla Model Card e aggiungere visualizzazioni come i grafici per ottenere informazioni chiave sulle prestazioni del modello.
Condividi model card
È possibile esportare le schede modello in formato PDF per condividerle più facilmente con gli stakeholder aziendali, i team interni o i clienti.
Monitoraggio unificato dei modelli con SageMaker Model Dashboard
Traccia il comportamento del modello
SageMaker Model Dashboard offre una panoramica completa dei modelli e degli endpoint distribuiti, in modo da poter tenere traccia delle risorse e delle violazioni del comportamento del modello in un unico posto. È possibile monitorare il comportamento del modello in quattro dimensioni: qualità dei dati, qualità del modello, deriva dei bias e deriva dell'attribuzione delle caratteristiche. SageMaker Model Dashboard monitora il comportamento grazie all'integrazione con Amazon SageMaker Model Monitor e Amazon SageMaker Clarify.
La valutazione del rischio illustrata sopra è puramente indicativa e può variare in base all'input fornito dall'utente.
Automatizza gli avvisi
Inoltre, SageMaker Model Dashboard fornisce un'esperienza integrata per impostare e ricevere avvisi in merito ai processi di monitoraggio dei modelli assenti o non attivi e sulle deviazioni del comportamento dei modelli.
La valutazione del rischio illustrata sopra è puramente indicativa e può variare in base all'input fornito dall'utente.
Risoluzione delle deviazioni del modello
È possibile analizzare nel dettaglio i singoli modelli e i fattori che hanno un impatto sulle prestazioni nel corso del tempo. Dopodiché, è possibile consultarsi con i professionisti del ML per intraprendere le opportune misure correttive.
Clienti
"In United Airlines, utilizziamo il machine learning (ML) per migliorare l'esperienza dei clienti fornendo offerte personalizzate, consentendo ai clienti di essere pronti utilizzando il Travel Readiness Center. Il nostro uso del ML si estende anche alle operazioni aeroportuali, alla pianificazione della rete e alla programmazione dei voli. Mentre uscivamo dalla pandemia, Amazon SageMaker ha svolto un ruolo fondamentale nel Travel Readiness Center, consentendoci di gestire grandi volumi di certificati di test COVID e schede vaccinali utilizzando l'automazione dei modelli basati sui documenti. Con le nuove funzionalità di governance di Amazon SageMaker, abbiamo un maggiore controllo e visibilità sui nostri modelli di machine learning. SageMaker Role Manager semplifica notevolmente il processo di configurazione degli utenti, fornendo autorizzazioni di base e attività ML per ogni persona collegata ai ruoli IAM. Con SageMaker Model Cards, i nostri team possono acquisire e condividere in modo proattivo le informazioni sui modelli per la revisione e, utilizzando SageMaker Model Dashboard, siamo in grado di cercare e visualizzare i modelli distribuiti su MARS, la nostra piattaforma interna di ML. Con tutte queste nuove funzionalità di governance, stiamo risparmiando una quantità significativa di tempo e siamo in grado di scalare".
Ashok Srinivas, Director of ML Engineering and Ops, United Airlines
"In Capitec abbiamo un'ampia gamma di data scientist nelle nostre linee di prodotto, che realizzano diverse soluzioni di ML. I nostri ingegneri ML gestiscono una piattaforma di modellazione centralizzata costruita su Amazon SageMaker per consentire lo sviluppo e l'implementazione di tutte queste soluzioni ML. Senza alcuno strumento incorporato, il monitoraggio degli sforzi di modellazione tende a una documentazione disarticolata e alla mancanza di visibilità del modello. Con SageMaker Model Cards, possiamo tenere traccia di molti metadati del modello in un ambiente unificato e SageMaker Model Dashboard ci offre visibilità sulle prestazioni di ogni modello. Inoltre, SageMaker Role Manager semplifica il processo di gestione dell'accesso dei data scientist nelle nostre diverse linee di prodotti. Ognuno di questi elementi contribuisce a far sì che il nostro modello di governance sia sufficiente a giustificare la fiducia che i nostri clienti ripongono in noi come fornitore di servizi finanziari."
Dean Matter, ML Engineer, Capitec Bank
Risorse
Consulta la documentazione tecnica per imparare a utilizzare le funzionalità di governance del ML di SageMaker.
Accelera l'integrazione degli strumenti di governance con i carichi di lavoro ML.
"Improve ML governance w/deep control & transparency in SageMaker” session from AWS re:Invent 2022.
Define customized permissions in minutes with Amazon SageMaker Role Manager.