Esperimenti di machine learning con Amazon SageMaker con MLFlow

Gestisci in modo efficiente i modelli di machine learning e gli esperimenti di applicazioni di IA generativa su larga scala utilizzando MLFlow

Perché usare Amazon SageMaker con MLFlow?

Amazon SageMaker offre una funzionalità MLFlow gestita per il machine learning (ML) e la sperimentazione di IA generativa. Questa funzionalità consente ai data scientist di utilizzare facilmente MLFlow su SageMaker per il training, la registrazione e l'implementazione dei modelli. Gli amministratori possono configurare rapidamente su AWS ambienti MLFlow sicuri e scalabili. I data scientist e gli sviluppatori di ML possono monitorare in modo efficiente gli esperimenti di ML e trovare il modello giusto per un problema aziendale.

Vantaggi di Amazon SageMaker con MLFlow

I data scientist possono utilizzare MLFlow per tenere traccia di tutte le metriche generate durante la messa a punto di un modello di base, valutare il modello, testare il modello con dati di esempio, confrontare i risultati di ciascun modello fianco a fianco sull'interfaccia utente MLFlow e registrare il modello giusto per il loro caso d'uso. Una volta registrato il modello, gli ingegneri ML possono implementare il modello nell'inferenza di SageMaker.
Non è necessario gestire alcuna infrastruttura necessaria per ospitare MLFlow. I data scientist possono utilizzare tutte le funzionalità open source di MLFlow senza che gli amministratori si preoccupino del sovraccarico dell'infrastruttura. Ciò consente di risparmiare tempo e costi durante la configurazione degli ambienti di data science. MLFlow è integrato con Amazon Identity and Access Management (IAM), che consente di configurare il controllo degli accessi basato sui ruoli (RBAC) per i server di tracciamento MLFlow.
I modelli registrati in MLFlow verranno automaticamente registrati nel registro dei modelli Amazon SageMaker con una scheda modello Amazon SageMaker associata. Ciò consente ai data scientist di trasferire i loro modelli agli ingegneri ML per l'implementazione della produzione senza cambiare contesto. Gli ingegneri ML possono implementare modelli da MLFlow agli endpoint SageMaker senza creare container personalizzati o riconfezionare gli artefatti del modello MLFlow.
Man mano che il progetto MLFlow si evolve, i clienti di SageMaker trarranno vantaggio dall'innovazione open source della comunità MLFlow e godranno della gestione dell'infrastruttura fornita da AWS.

Tieni traccia degli esperimenti da qualsiasi luogo

Gli esperimenti di ML vengono eseguiti in ambienti diversi, tra cui notebook locali, IDE, codice di formazione basato su cloud o IDE gestiti in Amazon SageMaker Studio. Con SageMaker e MLFlow, puoi utilizzare il tuo ambiente preferito per addestrare modelli, tenere traccia dei tuoi esperimenti in MLFlow e avviare direttamente l'interfaccia utente MLFlow o tramite SageMaker Studio per l'analisi.

Registra gli esperimenti

Collabora alla sperimentazione di modelli

Un'efficace collaborazione in team è essenziale per il successo dei progetti di data science. SageMaker Studio consente di gestire e accedere ai server di tracciamento e agli esperimenti MLFlow, consentendo ai membri del team di condividere informazioni e garantire risultati coerenti degli esperimenti, facilitando la collaborazione.

Gestisci a livello centrale i metadati degli esperimenti di ML

Valuta gli esperimenti

L'individuazione del modello migliore da più iterazioni richiede l'analisi e il confronto delle prestazioni del modello. MLFlow offre visualizzazioni come grafici a dispersione, grafici a barre e istogrammi per confrontare le iterazioni di training. Inoltre, MLFlow consente la valutazione di modelli di distorsione ed equità.

Valuta gli esperimenti di machine learning

Gestione centralizzata dei modelli MLFlow

Molti team utilizzano spesso MLFlow per gestire i propri esperimenti e solo alcuni modelli diventano candidati alla produzione. Le organizzazioni hanno bisogno di un modo semplice per tenere traccia di tutti i modelli candidati per prendere decisioni informate su quali modelli procedere alla produzione. MLFlow si integra perfettamente con il registro dei modelli SageMaker, consentendo alle organizzazioni di vedere i propri modelli registrati in MLFlow apparire automaticamente nel registro dei modelli SageMaker, completo di una scheda modello SageMaker per la governance. Questa integrazione consente ai data scientist e agli ingegneri ML di utilizzare strumenti distinti per le rispettive attività: MLFlow per la sperimentazione e il registro dei modelli SageMaker per la gestione del ciclo di vita della produzione con una gamma completa di modelli.

Condividi aggiornamenti e risultati

Distribuisci i modelli MLFlow sugli endpoint SageMaker

L'implementazione di modelli da MLFlow a SageMaker endpoints è semplice ed elimina la necessità di creare container personalizzati per l'archiviazione dei modelli. Questa integrazione consente ai clienti di sfruttare i container di inferenza ottimizzati di SageMaker mantenendo l'esperienza intuitiva di MLFlow per il log e la registrazione dei modelli.

Riproduci e controlla gli esperimenti di ML