Machine Learning Inference per AWS Greengrass

AWS IoT Greengrass semplifica l'inferenza di machine learning in locale sui dispositivi, mediante modelli creati, formati e ottimizzati nel cloud. AWS IoT Greengrass ti offre la flessibilità di utilizzare modelli di machine learning formati su Amazon SageMaker o di portare il tuo modello pre-formato archiviato in Amazon S3.

Il machine learning usa algoritmi di calcolo statistico che traggono informazioni dai dati esistenti secondo un processo definito formazione, per prendere decisioni sui nuovi set di dati, un processo definito inferenza. Durante l'addestramento, sono individuati pattern e relazioni tra i dati per la costruzione di un modello. Il modello permette a un sistema di prendere decisioni intelligenti sui nuovi dati sottoposti. L'ottimizzazione dei modelli comprime le dimensioni del modello in modo che venga eseguito rapidamente. L'addestramento e l'ottimizzazione di modelli di machine learning richiede elevate quantità di risorse di elaborazione, ecco perché il cloud è l'ambiente più appropriato. Tuttavia, l'inferenza richiede minore potenza di elaborazione e spesso può essere eseguita in tempo reale quando sono disponibili nuovi dati. Ottenere risultati di inferenza con latenza molto bassa è importante per assicurarti che le applicazioni IoT rispondano rapidamente agli eventi di carattere locale.

AWS IoT Greengrass offre il meglio dei due mondi. Utilizza modelli di machine learning costruiti, addestrati e ottimizzati nel cloud ed esegui l'inferenza localmente sui dispositivi. Ad esempio, puoi creare un modello predittivo in SageMaker per l'analisi di rilevamento del rilevamento delle scene, ottimizzarlo per l'esecuzione su qualsiasi telecamera e quindi distribuirlo per prevedere attività sospette e inviare un avviso. I dati raccolti dall'inferenza in esecuzione su AWS IoT Greengrass possono essere inviati a SageMaker dove possono essere taggati e utilizzati per migliorare continuamente la qualità dei modelli di machine learning.

Vantaggi

Flessibilità

AWS IoT Greengrass include pacchetti Amazon SageMaker Neo Deep Learning Runtime (DLR), Apache MXNet, TensorFlow e Chainer preinstallati per dispositivi basati su Intel Atom, NVIDIA Jetson TX2 e Raspberry Pi, quindi non è necessario creare e configurare il framework di machine learning per i propri dispositivi da zero. Inoltre, funziona con altri framework diffusi come PyTorch e Caffe2. Se utilizzi Amazon SageMaker Neo con IoT Greengrass, i modelli scritti in questo framework vengono convertiti in un codice portatile che verrà eseguito su qualsiasi dispositivo AWS IoT Greengrass che include il runtime Neo, in modo da non dover eseguire ulteriori operazioni.

Distribuzione di modelli nei dispositivi collegati in pochi clic

AWS IoT Greengrass rende estremamente semplice distribuire un modello di machine learning dal cloud nei dispositivi. Sono sufficienti pochi clic nella console di AWS IoT Greengrass per cercare i modelli già sottoposti ad addestramento in Amazon SageMaker o S3, selezionare quello desiderato e distribuirlo sui dispositivi scelti. I modelli verranno distribuiti su tali dispositivi.

Accelerazione delle prestazioni di inferenza

Tramite l'integrazione con Amazon SageMaker e il Neo deep learning compiler, è possibile distribuire modelli di machine learning con un runtime ottimizzato che può essere eseguito fino a due volte più velocemente rispetto all'ottimizzazione manuale o utilizzando framework di machine learning. AWS IoT Greengrass ti consente inoltre di accedere ad acceleratori hardware, come GPU sui tuoi dispositivi, fornendo runtime pre-costruiti per i comuni framework di machine learning e dispositivi di destinazione, come la bacheca Nvidia Jetson TX2.

Eseguire inferenze su più dispositivi

Utilizzando l'integrazione con Amazon SageMaker e il Neo compiler, i modelli sono ottimizzati con meno di un decimo del footprint di memoria in modo che possano essere eseguiti su dispositivi con risorse limitate come telecamere di sicurezza domestica e attuatori.

Semplice esecuzione dell'inferenza su dispositivi collegati

Effettuare un'inferenza a livello locale sui dispositivi che eseguono AWS IoT Greengrass riduce la latenza e il costo di invio dei dati del dispositivo al cloud per effettuare una previsione. Invece di inviare tutti i dati nel cloud per eseguire inferenze di machine learning, esegui le inferenze direttamente all'interno dei dispositivi.

Costruzione di modelli più accurati

Utilizzando AWS IoT Greengrass, puoi eseguire l'inferenza e acquisire i risultati, rilevare i valori anomali e inviare dati al cloud e Amazon SageMaker, dove può essere riclassificato, taggato e utilizzato per la riqualificazione del modello per migliorare la sua precisione nel machine learning.

Come funziona

Casi d'uso

Manutenzione industriale predittiva

La pressione sui prezzi è sempre maggiore, perciò le aziende manifatturiere sono sempre in cerca di nuovi modi per migliorare l'efficienza operativa nei propri stabilimenti. Se un problema nella linea di produzione non viene rilevato per tempo, le perdite di tempo e risorse possono essere rilevanti. AWS IoT Greengrass permette di rilevare in modo tempestivo apparecchiature guaste e problemi nello stabilimento. I gateway industriali compatibili con IoT Greengrass sono in grado di monitorare in modo continuo i dati provenienti dai sensori (ad es. le vibrazioni e i livelli di rumore), prevedere anomalie e intraprendere azioni correttive, ad esempio inviare avvisi o interrompere il lavoro per ridurre al minimo le perdite.

Agricoltura di precisione

Il settore agricolo sta attraversando due grandi rivoluzioni. Prima di tutto, la popolazione mondiale è in costante crescita e la domanda di cibo supera l'offerta. Secondariamente, i cambiamenti climatici stanno provocando eventi meteorologici imprevedibili che influiscono sui raccolti. AWS IoT Greengrass può aiutare a trasformare le prassi agricole e offrire valore aggiunto ai clienti. Le videocamere compatibili con AWS IoT Greengrass installate nelle serre sono in grado di elaborare immagini di piante e colture e dati provenienti dai sensori nel suolo, non solo per rilevare anomalie ambientali (ad es. variazioni di temperatura, umidità o nutrienti), ma anche per inviare allarmi.

Sicurezza

I produttori di videocamere di sicurezza sono sempre alla ricerca di nuovi modi per rendere i loro dispositivi più intelligenti e automatizzare il rilevamento di eventuali minacce. AWS IoT Greengrass può aiutare a migliorare le funzionalità delle fotocamere di sicurezza. Le fotocamere compatibili con AWS IoT Greengrass scansionano in modo continuo gli ambienti e rilevano variazioni, ad esempio l'arrivo di una persona, inviando quindi un avviso. Le videocamere sono in grado di eseguire analisi di rilevamento degli ambienti in locale e inviare i dati nel cloud solo quando necessario.

Vendita al dettaglio e accoglienza

Rivenditori al dettaglio, compagnie di crociere e parchi di divertimenti stanno investendo nelle applicazioni IoT per fornire un miglior servizio ai clienti. Ad esempio, è possibile eseguire modelli di rilevamento di oggetti in un parco divertimenti per tenere il conto del numero di visitatori. Le videocamere saranno in grado di distinguere i singoli visitatori e conserveranno in locale il conteggio numerico senza dover inviare enormi volumi di feed video nel cloud, spesso una situazione non sostenibile in luoghi in cui la larghezza di banda Internet è limitata. Questa soluzione permetterà di prevedere i tempi di attesa nelle giostre più popolari e aiuterà a migliorare l'esperienza dei visitatori.

Elaborazione video

AWS IoT Greengrass può essere distribuito sui dispositivi collegati come videocamere di sicurezza, telecamere di monitoraggio del traffico, videocamere indossabili e apparecchiature di imaging medico, per aiutarli a effettuare previsioni locali. Con AWS IoT Greengrass puoi distribuire ed eseguire modelli di machine learning come riconoscimento facciale, rilevamento di oggetti e densità di immagine direttamente sul dispositivo. Ad esempio, una telecamera di monitoraggio del traffico può contare biciclette, veicoli e pedoni che passano da un incrocio e rilevare quando è necessario regolare i segnali stradali per ottimizzare i flussi di traffico e tenere le persone al sicuro.

Clienti in evidenza

AWS IoT Greengrass aiuta Yanmar ad accrescere l'intelligenza operativa in serra rilevando e riconoscendo automaticamente le principali fasi di crescita degli ortaggi ed aumentando così i raccolti.

Electronic Caregiver garantisce un'assistenza di alta qualità con ML Inference per AWS IoT Greengrass, spingendo i modelli di machine learning direttamente sui dispositivi periferici e garantendo la sicurezza dei pazienti.

Grazie ad AWS IoT Greengrass, Vantage Power invia i modelli di machine learning ai singoli veicoli e rileva i guasti della batteria 1 mese prima.

ML Inference per AWS IoT Greengrass