Amazon SageMaker
Machine learning per tutti gli sviluppatori e i data scientist
Amazon SageMaker è un servizio completamente gestito che consente a data scientist e sviluppatori di creare, formare e distribuire in modo rapido modelli di machine learning (ML). SageMaker semplifica i passaggi del processo di machine learning per sviluppare modelli di alta qualità in modo più facile.
Il tradizionale sviluppo di ML è un processo iterativo, costoso e complesso complicato ancora di più dalla mancanza di strumenti integrati per l'intero flusso di lavoro di machine learning. È necessario utilizzare contemporaneamente strumenti e flussi di lavoro, andando così incontro a errori e rendendo il tutto molto dispendioso in termini di tempo. SageMaker risolve questi problemi fornendo tutti i componenti utilizzati per il machine learning in un set di strumenti unico che permette ai modelli di essere inviati alla produzione più velocemente con meno fatica e a un minor prezzo.
Crea modelli di machine learning
SOLO SU AMAZON SAGEMAKER
Aumenta la produttività con Amazon SageMaker Studio, il primo ambiente di sviluppo integrato completamente (IDE) per il machine learning
Amazon SageMaker Studio fornisce un'interfaccia visuale unica basata sul Web in cui si possono eseguire tutte le fasi di sviluppo di ML. SageMaker Studio ti offre accesso, controllo e visibilità completi su ogni fase necessaria alla progettazione, la formazione e la distribuzione dei modelli. Puoi velocemente caricare dati, creare nuovi notebook, formare e ottimizzare modelli, andare avanti e indietro tra le fasi per modificare gli esperimenti, confrontare i risultati e distribuire modelli in produzione in un unico luogo, rendendo l'intero processo più produttivo. Tutte le attività di sviluppo con il machine learning che includono notebook, gestione degli esperimenti, creazione automatica dei modelli, debug e rilevamento di errori del modello possono essere eseguite all'interno dell'interfaccia visiva unificata di SageMaker Studio.
Utilizza un IDE per lo sviluppo di ML. Per esempio, esegui gli aggiornamenti ai modelli in un notebook e scopri come le modifiche influiscono sulla qualità del modello utilizzando una visualizzazione affiancata del notebook e degli esperimenti di training.
Utilizza un IDE per lo sviluppo di ML. Per esempio, esegui gli aggiornamenti ai modelli in un notebook e scopri come le modifiche influiscono sulla qualità del modello utilizzando una visualizzazione affiancata del notebook e degli esperimenti di training.
SOLO SU AMAZON SAGEMAKER
I notebook Amazon SageMaker Studio offrono una maggior velocità di creazione e collaborazione
Gestire le istanze di elaborazione per visualizzare, eseguire o condividere un notebook è un'operazione tediosa. I notebook Amazon SageMaker Studio sono notebook Jupyter che possono essere attivati rapidamente con un semplice clic. Le risorse di calcolo sottostanti sono completamente elastiche, in modo da calibrare le risorse disponibili, e le modifiche vengono attuate in modo automatico in background senza interrompere il lavoro. SageMaker permette anche la condivisione di notebook con un clic. Puoi condividere facilmente i notebook con altri utenti, i quali avranno a disposizione lo stesso identico notebook salvato nella medesima posizione.
È possibile scegliere fra decine di notebook predefiniti in SageMaker, a seconda del caso d'uso. Puoi anche ottenere centinaia di algoritmi e modelli già formati disponibili in AWS Marketplace per iniziare velocemente.
Genera un collegamento per la condivisione, senza monitorare le dipendenze manualmente, per riprodurre il codice del notebook.
Genera un collegamento per la condivisione, senza monitorare le dipendenze manualmente, per riprodurre il codice del notebook.
SOLO SU AMAZON SAGEMAKER
Crea, forma e ottimizza automaticamente modelli con visibilità e controllo totali utilizzando Amazon SageMaker Autopilot
Amazon SageMaker Autopilot è la prima funzionalità automatica di machine learning del settore che offre controllo e visibilità totali sui modelli di ML. Gli approcci tradizionali al machine learning automatico non danno informazioni sui dati utilizzati nella creazione del modello o sulla logica utilizzata nella sua creazione. Ne risulta che, anche se il modello è mediocre, non è possibile farlo evolvere. Inoltre, non c'è la flessibilità per effettuare compromessi, come per esempio sacrificare un po' di accuratezza per previsioni con minor latenza, dal momento che le soluzioni di ML automatiche tradizionali offrono un solo modello da cui scegliere.
SageMaker Autopilot esamina automaticamente i dati grezzi, applica i processori di caratteristiche, sceglie il miglior set di algoritmi, forma e ottimizza diversi modelli, controlla le loro prestazioni e in base a queste stila una classifica dei modelli, il tutto in pochi clic. Il risultato è un modello con le migliori prestazioni possibili, che si può distribuire in una frazione del tempo normalmente richiesto per la formazione del modello. Hai piena visibilità sulle modalità di creazione del modello e sui contenuti e SageMaker Autopilot si integra con Amazon SageMaker Studio. Puoi ricercare fino a 50 modelli diversi generati da SageMaker Autopilot all'interno di SageMaker Studio, così è facile scegliere il miglior modello per il tuo caso d'uso. SageMaker Autopilot può essere utilizzato per produrre facilmente un modello anche da chi non ha esperienza di apprendimento automatico, oppure può essere usato da sviluppatori esperti per sviluppare un modello di base per le successive iterazioni del team.
Crea automaticamente modelli di machine learning e scegli quello che meglio soddisfa il tuo caso d'uso. Per esempio, controlla la classifica per vedere le prestazioni di ogni opzione e scegliere il modello che soddisfa i tuoi requisiti di accuratezza del modello e latenza.
Crea automaticamente modelli di machine learning e scegli quello che meglio soddisfa il tuo caso d'uso. Per esempio, controlla la classifica per vedere le prestazioni di ogni opzione e scegliere il modello che soddisfa i tuoi requisiti di accuratezza del modello e latenza.
SOLO SU AMAZON SAGEMAKER
Riduci i costi di etichettatura dei dati fino al 70% utilizzando Amazon SageMaker Ground Truth
I modelli di machine learning di successo sono creati sulla base di grandi volumi di dati di formazione di alta qualità. Tuttavia, il processo di creazione dei dati di formazione necessari per questi modelli è spesso oneroso, articolato e richiede molto tempo. Amazon SageMaker Ground Truth ti aiuta a creare e gestire rapidamente set di dati per la formazione estremamente accurati. Ground Truth permette di accedere facilmente a etichettatori attraverso Amazon Mechanical Turk e offre interfacce e flussi di lavoro predefiniti per le attività di etichettatura più comuni. Puoi anche utilizzare i tuoi etichettatori o utilizzare fornitori consigliati da Amazon attraverso AWS Marketplace. Inoltre, Ground Truth apprende costantemente dalle etichette fatte dagli umani per effettuare annotazioni automatiche di alta qualità per ridurre in modo significativo i costi di etichettatura.
70%
Amazon SageMaker supporta i framework principali di deep learning
I framework supportati includono TensorFlow, PyTorch, Apache MXNet, Chainer, Keras, Gluon, Horovod, Scikit-learn e Deep Graph Library.
Forma modelli di machine learning
SOLO SU AMAZON SAGEMAKER
Organizza, controlla e valuta le esecuzioni di formazione utilizzando Amazon SageMaker Experiment
Amazon SageMaker Experiments ti aiuta ad organizzare e controllare le iterazioni sui modelli di machine learning. La formazione di un modello di ML solitamente richiede molte iterazioni per isolare e misurare l'impatto del cambiamento di set di dati, versioni dell'algoritmo e parametri del modello. Durante queste iterazioni, puoi creare centinaia di artefatti come modelli, dati di formazione, configurazioni di piattaforma, impostazioni di parametro e parametri di formazione. Per controllare questi esperimenti, spesso vengono utilizzati meccanismi ingombranti come i fogli di calcolo.
SageMaker Experiments ti aiuta a gestire le iterazioni con l'acquisizione automatica di parametri di input, configurazioni e risultati e salvandoli come "esperimenti". Puoi lavorare all'interno dell'interfaccia visiva di SageMaker Studio, in cui puoi sfogliare esperimenti attivi, cercare esperimenti precedenti in base alle loro caratteristiche, rivedere esperimenti precedenti e i relativi risultati e paragonare i risultati degli esperimenti in modo visivo.
Tieni traccia di migliaia di esperimenti per la formazione per capire il livello di accuratezza del tuo modello. Ad esempio visualizza in un grafico in che modo i set di dati appartenenti a serie temporali diverse influiscono sull'accuratezza del modello.
Tieni traccia di migliaia di esperimenti per la formazione per capire il livello di accuratezza del tuo modello. Ad esempio visualizza in un grafico in che modo i set di dati appartenenti a serie temporali diverse influiscono sull'accuratezza del modello.
SOLO SU AMAZON SAGEMAKER
Analizza, rileva e segnala i problemi per machine learning utilizzando Amazon SageMaker Debugger
Il processo di formazione ML è molto opaco e il tempo necessario per formare un modello può essere lungo e difficile da ottimizzare. Di conseguenza, spesso è difficile interpretare e spiegare i modelli. Amazon SageMaker Debugger rende il processo di formazione più trasparente, acquisendo automaticamente i parametri in tempo reale durante la formazione come formazione e convalida, matrici di confusione e gradienti di apprendimento per migliorare l'accuratezza del modello.
I parametri di SageMaker Debugger possono essere visualizzati in SageMaker Studio per una comprensione semplificata. SageMaker Debugger può anche generare avvisi di allarme e correzione quando vengono rilevati comuni problemi di formazione. Con SageMaker Debugger, puoi interpretare il modo in cui un modello sta operando, costituendo un primo passo verso l'esplicabilità dei modelli.
Analizza ed effettua il debug delle anomalie. Ad esempio, la formazione di una rete neurale si interromperà se i gradienti sono destinati a scomparire. SageMaker Debugger identifica i gradienti destinati a scomparire, in modo da correggerli prima che la formazione sia intaccata.
Analizza ed effettua il debug delle anomalie. Ad esempio, la formazione di una rete neurale si interromperà se i gradienti sono destinati a scomparire. SageMaker Debugger identifica i gradienti destinati a scomparire, in modo da correggerli prima che la formazione sia intaccata.
AWS è il posto migliore per eseguire TensorFlow
Le ottimizzazioni TensorFlow di AWS forniscono efficienza di dimensionamento quasi lineare su centinaia di GPU per operare a livello di cloud senza sovraccarico di elaborazione per formare modelli più accurati e sofisticati in molto meno tempo.
90%
Costi di formazione più bassi del 90%
Amazon SageMaker fornisce Formazione gestita da istanze spot per aiutarti a ridurre i costi di formazione fino al 90%. Questa funzionalità utilizza le Istanze spot si Amazon EC2, che sono la capacità di calcolo di AWS di riserva. I processi di formazione vengono eseguiti automaticamente quando la capacità di calcolo diventa disponibile e sono resilienti alle interruzioni provocate dalle modifiche della capacità, consentendoti di risparmiare grazie alla flessibilità del momento di esecuzione dei processi di formazione.
90%
Distribuisci modelli di machine learning
Distribuzione con un clic
Amazon SageMaker semplifica la distribuzione del modello formato in produzione con un solo clic, permettendoti di iniziare a generare previsioni su dati in tempo reale o in batch. Il modello può essere distribuito con un solo clic su istanze di Amazon ML con dimensionamento automatico su diverse zone di disponibilità per ottenere ridondanza elevata. Basta specificare il tipo e il numero massimo e minimo di istanze, Amazon SageMaker di occuperà del resto. Il servizio avvierà le istanze, distribuirà il modello e configurerà l'endpoint HTTPS protetto per l'applicazione. L'applicazione dovrà semplicemente includere una chiamata API all'endpoint per ottenere inferenze a bassa latenza e throughput elevato. Questa architettura permette di integrare nuovi modelli nell'applicazione in pochi minuti, perché le modifiche a un modello non richiederanno più modifiche al codice dell'applicazione.
SOLO SU AMAZON SAGEMAKER
Mantieni i modelli accurati nel tempo utilizzando Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor consente agli sviluppatori di rilevare e correggere il concept drift. Oggi, uno dei grandi fattori che può intaccare la precisione dei modelli distribuiti è la diversità dei dati utilizzati per generare le previsioni, rispetto a quelli usati per formare il modello. Per esempio, il cambiamento delle condizioni economiche potrebbe provocare nuove tariffe di interesse e avere un impatto sugli acquisti domestici. Viene chiamato concept drift il processo secondo cui i pattern che il modello utilizza per eseguire previsioni non sono più validi. SageMaker Model Monitor rileva automaticamente il concept drift nei modelli distribuiti e fornisce avvisi dettagliati che aiutano a identificare la causa del problema. Tutti i modelli formati su SageMaker emettono automaticamente metriche chiave che possono essere raccolte e visualizzate su SageMaker Studio. Dall'interno di SageMaker Studio è possibile configurare i dati in modo che vengano raccolti, come visualizzarli, e quando ricevere gli avvisi.
Monitoraggio modelli in produzione. Per esempio, è possibile visualizzare grafici con importanti funzioni modello e statistiche di riepilogo, riguardarli nel corso del tempo e paragonarli con le funzioni utilizzate durante la formazione. Alcune funzioni cambiano quando il modello viene eseguito in produzione, e ciò può indicare il bisogno di riformare il modello.
Monitoraggio modelli in produzione. Per esempio, è possibile visualizzare grafici con importanti funzioni modello e statistiche di riepilogo, riguardarli nel corso del tempo e paragonarli con le funzioni utilizzate durante la formazione. Alcune funzioni cambiano quando il modello viene eseguito in produzione, e ciò può indicare il bisogno di riformare il modello.
SOLO SU AMAZON SAGEMAKER
Convalida le previsioni tramite revisione umana
Per molte applicazioni di machine learning è necessario che la revisione delle previsioni di bassa affidabilità sia eseguita da umani per garantire la correttezza dei risultati. Ma aggiungere la revisione umana nel flusso di lavoro può essere dispendiosa a livello di tempo e denaro, oltre a richiedere procedure complesse. Amazon Augmented AI è un servizio che semplifica la creazione dei flussi di lavoro necessari per la revisione umana delle previsione ML. Augmented AI fornisce flussi di lavoro di revisione umani integrati per casi d'uso di machine learning frequenti. È possibile anche creare i propri flussi di lavoro per modelli costruiti su Amazon SageMaker. Con Augmented AI, è possibile far intervenire i revisori umani quando un modello non è capace di effettuare previsioni ad alta affidabilità.
Utilizza Kubeflow Pipelines per l'orchestrazione e la pianificazione dei lavori
I componenti Amazon SageMaker per Kubeflow Pipelines, ora disponibili in anteprima, sono plug-in open source che consentono di utilizzare le pipeline Kubeflow per definire i flussi di lavoro di machine learning (ML) e di impiegare SageMaker per le fasi di etichettatura, formazione e inferenza dei dati. Kubeflow Pipelines è un componente aggiuntivo di Kubeflow che consente di creare e distribuire pipeline di ML complete, portatili e scalabili. Tuttavia, durante l'uso di Kubeflow Pipelines, i team di operazioni di ML devono gestire un cluster Kubernetes con istanze CPU e GPU e mantenerne l'utilizzo elevato in ogni momento per ridurre i costi operativi. Massimizzare l'utilizzo di un cluster tra i team di data science è impegnativo e aggiunge un ulteriore sovraccarico operativo ai team di operazioni di ML. In alternativa a un cluster Kubernetes ottimizzato per il ML, con i componenti Amazon SageMaker per Kubeflow Pipelins è possibile sfruttare le potenti funzionalità di SageMaker come etichettatura dei dati, ottimizzazione dell'iperparametro su vasta scala completamente gestita e processi distribuiti di formazione, distribuzione di modelli sicura e scalabile con un clic e una formazione a costi contenuti con istanze Spot EC2; il tutto senza la necessità di configurare e gestire i cluster Kubernetes specificatamente per eseguire i processi di machine learning.
Esegui l'integrazione con Kubernetes per l'orchestrazione e la gestione
Kubernetes è un sistema open source utilizzato per l'automatizzazione di distribuzione, il ridimensionamento e la gestione di applicazioni nei contenitori. Molti clienti vogliono utilizzare le funzionalità completamente gestite di Amazon SageMaker per il machine learning, ma vogliono anche che i team della piattaforma e dell'infrastruttura continuino a utilizzare Kubernetes per l'orchestrazione e la gestione di pipeline. SageMaker consente agli utenti di formare e utilizzare modelli in SageMaker utilizzando gli operatori Kubernetes.
Costi di inferenza di machine learning ridotti fino al 75% con Amazon Elastic Inference
Nella maggior parte delle applicazioni di deep learning, fare previsioni tramite un modello addestrato (processo definito “inferenza”) può divenire un fattore importante a livello di costi di elaborazione dell'applicazione. Una’istanza GPU intera potrebbe essere di dimensioni eccessive per l'inferenza modello. Inoltre, può risultare difficile ottimizzare le esigenze di GPU, CPU e memoria dell'applicazione di deep learning. Amazon Elastic Inference permette di risolvere questi problemi consentendo all'utente di collegare la giusta quantità di accelerazione di inferenza basata su GPU a qualsiasi tipo di istanza Amazon EC2 o Amazon SageMaker o su un'attività Amazon ECS senza modifiche al codice. Con Elastic Inference, è ora possibile scegliere il tipo di istanza più adatto alle esigenze complessive di CPU e memoria dell'applicazione, quindi configurare separatamente la quantità di accelerazione inferenziale necessaria per utilizzare le risorse in modo efficiente e ridurre i costi di esecuzione di inferenza.
75%
Scegli l'inferenza conveniente ad alte prestazioni nel cloud
Con Amazon SageMaker, puoi distribuire i tuoi modelli formati di machine learning sulle istanze Amazon Inf1, create utilizzando il chip AWS Inferentia, per garantire inferenza conveniente ad alte prestazioni. Attraverso le istanze Inf1, puoi eseguire applicazioni di inferenza di machine learning su larga scala come riconoscimento di immagini, riconoscimento vocale, elaborazione del linguaggio naturale, personalizzazione e rilevamento di frodi. Con Amazon SageMaker Neo, puoi compilare i tuoi modelli addestrati di machine learning per un'esecuzione ottimale sulle istanze Inf1 e distribuire facilmente i modelli compilati sulle istanze Inf1 per l'inferenza in tempo reale.
Casi di studio
Inizia subito a utilizzare Amazon SageMaker nella Console di gestione AWS.