Amazon SageMaker per MLOps
Fornisci modelli di ML in produzione ad alte prestazioni rapidamente e su larga scala
Crea flussi di lavoro di addestramento ripetibili per accelerare lo sviluppo del modello
Cataloga gli artefatti di ML a livello centrale per la riproducibilità e la governance del modello
Integra i flussi di lavoro di ML con le pipeline CI/CD per tempi di produzione più rapidi
Monitora continuamente i dati e i modelli in produzione per mantenere la qualità
Amazon SageMaker fornisce strumenti specifici per le operazioni di machine learning (MLOps) per aiutarti ad automatizzare e standardizzare i processi lungo il ciclo di vita del machine learning. Utilizzando gli strumenti SageMaker MLOps, puoi facilmente addestrare, testare, risolvere i problemi, distribuire e gestire i modelli di ML su larga scala per aumentare la produttività di data scientist e ingegneri ML mantenendo le prestazioni del modello in produzione.
Come funziona: Amazon SageMaker MLOps
Accelera lo sviluppo dei modelli
Provisioning di ambienti di data science standardizzati
La standardizzazione degli ambienti di sviluppo del ML aumenta la produttività dei data scientist e, in definitiva, la velocità di innovazione, semplificando il lancio di nuovi progetti, la rotazione dei data scientist tra i progetti e l'implementazione delle best practice di ML. Amazon SageMaker Projects offre modelli per fornire rapidamente ambienti per data scientist standardizzati con strumenti e librerie testati e aggiornati, repository di controllo del codice sorgente, boilerplate code e pipeline CI/CD.
Collabora tra i team di data science sugli esperimenti
La creazione di modelli di ML è un processo iterativo che prevede l'addestramento di centinaia di modelli diversi alla ricerca dell'algoritmo, dell'architettura del modello e dei parametri migliori per ottenere il livello richiesto di accuratezza della previsione. Puoi tenere traccia degli input e degli output in queste iterazioni di addestramento per migliorare la ripetibilità delle prove e la collaborazione tra i data scientist utilizzando Amazon SageMaker Experiments, una funzionalità di gestione degli esperimenti di machine learning completamente gestita.
SageMaker Experiments tiene traccia di parametri, metriche, set di dati e altri artefatti relativi ai processi di addestramento del modello. Offre un'unica interfaccia in cui è possibile visualizzare i processi di addestramento in corso, condividere esperimenti con i colleghi e implementare modelli direttamente da un esperimento.
Automatizzazione dei workflow di addestramento ML
L'automazione dei flussi di lavoro di addestramento consente di creare un processo ripetibile per orchestrare le fasi di sviluppo del modello per una rapida sperimentazione e riqualificazione del modello. Puoi automatizzare l'intero flusso di lavoro per la creazione del modello, compresa la preparazione dei dati, l'ingegneria delle funzionalità, l'addestramento, la messa a punto e la convalida utilizzando le pipeline Amazon SageMaker. Puoi configurare le pipeline SageMaker in modo che vengano eseguite automaticamente a intervalli regolari o quando vengono attivati determinati eventi, oppure eseguirle manualmente secondo le necessità.
Implementa e gestisci facilmente i modelli in produzione
Riproduci rapidamente i tuoi modelli per la risoluzione dei problemi
Spesso è necessario riprodurre i modelli in produzione per risolvere i problemi relativi al comportamento del modello e determinarne la causa principale. Amazon SageMaker Pipelines registra ogni fase del tuo flusso di lavoro, creando un audit trail degli artefatti del modello come i dati di addestramento, le impostazioni di configurazione, i parametri del modello e i gradienti di apprendimento. Utilizzando il monitoraggio della derivazione, puoi ricreare modelli per eseguire il debug di potenziali problemi.
Traccia e gestisci a livello centralizzato le versioni dei modelli
La creazione di un'applicazione ML implica lo sviluppo di modelli, pipeline di dati, pipeline di addestramento e test di convalida. Amazon SageMaker Model Registry consente di monitorare le versioni dei modelli, i relativi metadati (come il raggruppamento dei casi d'uso) e le baseline dei parametri delle prestazioni dei modelli in un repository centrale da cui poter facilmente scegliere il modello più adatto da implementare in base ai requisiti aziendali. Inoltre, SageMaker Model Registry registra automaticamente i flussi di lavoro di approvazione per la verifica e la conformità.
Definisci l'infrastruttura ML attraverso il codice
L'orchestrazione dell'infrastruttura tramite file di configurazione dichiarativi, comunemente noti come "infrastructure-as-code", è un approccio comune al provisioning dell'infrastruttura ML e all'implementazione dell'architettura della soluzione esattamente come specificato dalle pipeline CI/CD o dagli strumenti di implementazione. Grazie ad Amazon SageMaker Projects, puoi scrivere l'infrastructure-as-code utilizzando file di modelli predefiniti.
Automatizza i flussi di lavoro di integrazione e implementazione (CI/CD)
I flussi di lavoro di sviluppo ML devono combinarsi ai flussi di lavoro di integrazione e implementazione in modo da fornire rapidamente nuovi modelli per le applicazioni di produzione. Amazon SageMaker Projects trasferisce le procedure CI/CD al ML, come il mantenimento della parità tra gli ambienti di sviluppo e di produzione, il controllo del codice sorgente e delle versioni, i test A/B e l'automazione end-to-end. In questo modo, si mette in produzione un modello non appena viene approvato e se ne aumenta l'agilità.
Inoltre, Amazon SageMaker offre protezioni integrate che garantiscono di mantenere la disponibilità degli endpoint e ridurre al minimo il rischio di implementazione. SageMaker si occupa della configurazione e dell'orchestrazione delle best practice di implementazione, come le implementazioni blu/verde, per aumentare al massimo la disponibilità e le integra con i meccanismi di aggiornamento degli endpoint, come i meccanismi di rollback automatico, per identificare automaticamente i problemi in anticipo e intraprendere azioni correttive prima che influiscano in modo significativo sulla produzione.
Ri-addestra continuamente i modelli per mantenere la qualità delle previsioni
Quando un modello giunge in produzione, è necessario monitorarne le prestazioni configurando gli avvisi, così che un data scientist possa risolvere tempestivamente l’eventuale problema e attivare la procedura di ri-addestramento. Amazon SageMaker Model Monitor ti aiuta a mantenere la qualità rilevando la deriva del modello e la deriva del concetto in tempo reale e inviandoti avvisi in modo da poter agire immediatamente. SageMaker Model Monitor monitora costantemente le caratteristiche delle prestazioni del modello come l'accuratezza, che misura il numero di previsioni corrette rispetto al numero totale di previsioni, in modo da poter affrontare le anomalie. SageMaker Model Monitor è integrato con SageMaker Clarify per migliorare la visibilità su potenziali distorsioni.
Ottimizza l'implementazione del modello per prestazioni e costi
Amazon SageMaker semplifica la distribuzione di modelli ML per l'inferenza a prestazioni elevate e a basso costo per qualsiasi caso d'uso. Fornisce un'ampia selezione di infrastrutture ML e opzioni di implementazione del modello per soddisfare tutte le tue esigenze di inferenza ML.
Testimonianze di successo dei clienti
NatWest Group, un importante istituto di servizi finanziari, ha standardizzato il processo di sviluppo e implementazione del modello di ML in tutta l'organizzazione. In questo modo è stato possibile ridurre il ciclo di rotazione per la creazione dei nuovi ambienti di ML da 40 giorni a 2 giorni, oltre ad accelerare il time-to-value per i casi d'uso di ML da 40 a 16 settimane.
"Invece di creare molti processi manuali, possiamo automatizzare la maggior parte del processo di sviluppo del machine learning semplicemente all'interno di Amazon SageMaker Studio".
Cherry Cabading, Global Senior Enterprise Architect - AstraZeneca
Impiegando i servizi AWS, tra cui Amazon SageMaker, Janssen ha implementato un processo MLOps automatizzato che ha migliorato l'accuratezza delle previsioni del modello del 21% e ha aumentato la velocità di progettazione delle funzionalità di circa il 700%, ridicendo i costi e aumentando al contempo l'efficienza.
"Amazon SageMaker migliora l'efficienza dei nostri team MLOps con gli strumenti necessari per testare e distribuire modelli di machine learning su larga scala".
Samir Joshi, ML Engineer - Qualtrics
Risorse
Puntata del venerdì su SageMaker: Automatizzazione dei flussi di lavoro di ML
Guarda questa demo per scoprire come automatizzare MLOps con SageMaker Projects.
Segui questo tutorial dettagliato per automatizzare un flusso di lavoro ML.
Inizia subito a utilizzare Amazon SageMaker nella Console di gestione AWS.
Novità
- Data (dalla più alla meno recente)