Amazon SageMaker Model Monitor
Mantieni i modelli di machine learning accurati nel tempo
Rileva automaticamente la deriva di modelli e dati e ricevi avvisi in caso di previsioni imprecise in modo da poter intraprendere azioni correttive
Integrazione con Amazon SageMaker Clarify per aiutare a identificare potenziali distorsioni nei modelli di ML dopo la loro implementazione in produzione
Raccolta e monitoraggio dei dati
Amazon SageMaker Model Monitor consente di selezionare i dati da monitorare e analizzare senza la necessità di scrivere alcun codice. SageMaker Model Monitor consente di selezionare da un menu di opzioni i dati, come ad esempio l'output della previsione, e acquisisce metadati quali timestamp, nome del modello ed endpoint. In questo modo è possibile analizzare le previsioni del modello in base ai metadati. Nel caso di previsioni in tempo reale ad alto volume, è possibile specificare la frequenza di campionamento dell'acquisizione dei dati come percentuale del traffico complessivo, e i dati vengono archiviati nel bucket Amazon S3. È inoltre possibile crittografare questi dati, configurare una sicurezza granulare, definire politiche di conservazione dei dati e implementare meccanismi di controllo degli accessi per un accesso sicuro.
Analisi integrata
Amazon SageMaker Model Monitor offre analisi integrate sotto forma di regole statistiche per rilevare derive nella qualità dei dati e dei modelli. Consente anche di scrivere regole personalizzate e definire soglie specifiche per ogni regola. Le regole possono quindi essere usate per analizzare le prestazioni del modello. SageMaker Model Monitor esegue regole sui dati raccolti, rileva anomalie e registra le violazioni delle regole.
Visualizzazioni
Tutte le metriche emesse da Amazon SageMaker Model Monitor possono essere raccolte e visualizzate in Amazon SageMaker Studio, in modo da poter analizzare visivamente le prestazioni del modello senza scrivere ulteriore codice. Non solo si possono visualizzare le metriche, ma è anche possibile eseguire analisi ad hoc in un'istanza del notebook SageMaker per comprendere meglio i propri modelli.
Previsione continua del modello
Amazon SageMaker Model Monitor consente di acquisire dati dalla propria applicazione di machine learning per calcolare le prestazioni del modello. I dati vengono archiviati in Amazon S3 e protetti tramite politiche di controllo degli accessi, crittografia e conservazione dei dati.
Pianificazione del monitoraggio
È possibile monitorare i modelli di machine learning pianificando i processi di monitoraggio tramite Amazon SageMaker Model Monitor. È possibile avviare automaticamente i processi di monitoraggio per analizzare le previsioni dei modelli in un determinato periodo di tempo. Sono anche possibili più pianificazioni su un endpoint SageMaker.
Integrazione con Amazon SageMaker Clarify
Amazon SageMaker Model Monitor è integrato con Amazon SageMaker Clarify per migliorare la visibilità su potenziali distorsioni. Sebbene i dati o il modello iniziali potrebbero essere privi di errori, i cambiamenti nel mondo potrebbero provocare lo sviluppo di distorsioni in un modello che è già stato addestrato. Ad esempio, un cambiamento sostanziale nei dati demografici dell'acquirente della casa potrebbe far sì che un modello di domanda del mutuo contenga degli errori nel caso in cui alcune popolazioni non fossero presenti nei dati di addestramento originali. L'integrazione con SageMaker Clarify consente di configurare sistemi di avviso come Amazon CloudWatch per ricevere avvisi nel caso in cui il modello iniziasse a sviluppare distorsioni.
Report e avvisi
I report generati dai processi di monitoraggio possono essere salvati in Amazon S3 per ulteriori analisi. Amazon SageMaker Model Monitor invia parametri ad Amazon CloudWatch, in cui si possono utilizzare le notifiche per attivare allarmi o azioni correttive, come la riqualificazione del modello o il controllo dei dati. Le metriche includono informazioni come regole violate e timestamp. SageMaker Model Monitor si integra anche con altri strumenti di visualizzazione tra cui Tensorboard, Amazon QuickSight e Tableau.
Casi d'uso
Outlier o anomalie
Amazon SageMaker Model Monitor permette di rilevare quando le previsioni sono al di fuori dell'intervallo previsto o al limite, ad esempio se risultano essere il valore minimo o massimo. Se, ad esempio, ci si aspetta una temperatura compresa tra 65° F e 75° F, 50° F sarebbe un risultato fuori limite, che verrebbe segnalato come anomalia.
Deriva dei dati
Amazon SageMaker Model Monitor permette di rilevare quando le previsioni risultano distorte a causa di condizioni reali, come letture imprecise dei sensori causate dall'invecchiamento degli stessi. Amazon SageMaker Model Monitor rileva l'asimmetria dei dati confrontando i dati del mondo reale con un set di dati di base, come ad esempio un set di dati di addestramento o di valutazione.
Osservazioni del mondo reale
Spesso vengono introdotti nuovi dati nel mondo reale, quindi è necessario poter adattare il modello per tenere conto delle nuove caratteristiche. Ad esempio, un modello di guida autonoma deve essere aggiornato per consentire ai veicoli autonomi di rilevare nuovi oggetti sulla strada. Amazon SageMaker Model Monitor rileva nuove osservazioni per consentire di mantenere aggiornati i modelli.