Amazon SageMaker Neo

Addestra modelli una sola volta ed eseguili ovunque con prestazioni migliorate del doppio

Amazon SageMaker Neo consente agli sviluppatori di addestrare modelli di apprendimento automatico ed eseguirli ovunque nel cloud e sull’edge. Amazon SageMaker Neo ottimizza i modelli una sola volta per eseguirli due volte più rapidamente, con meno di un decimo di impatto sulla memoria, senza perdita di accuratezza.

Gli sviluppatori dedicano molto tempo ed energia a fornire modelli di apprendimento automatico accurati in grado di generare stime rapide e a bassa latenza in tempo reale. Questo è particolarmente importante per i dispositivi edge nei quali la memoria e la potenza di elaborazione tendono a essere particolarmente limitate ma la latenza è molto importante. Ad esempio, i sensori nei veicoli autonomi hanno di solito bisogno di elaborare dati in un millesimo di secondo per essere utili, quindi un’andata e ritorno con il cloud non è possibile. Inoltre c’è una vasta gamma di diverse piattaforme hardware e architetture processore per i dispositivi edge. Per ottenere prestazioni elevate, gli sviluppatori devono passare settimane o mesi a ottimizzare manualmente i modelli per ciascuna. E questo complesso processo di ottimizzazione significa che i modelli vengono raramente aggiornati dopo che sono stati distribuiti nell’edge. Gli sviluppatori perdono l’occasione di addestrare nuovamente e migliorare i modelli basati sui dati raccolti dai dispositivi edge.

Amazon SageMaker Neo ottimizza automaticamente i modelli di apprendimento automatico migliorandone le prestazioni fino al doppio della velocità e senza perdita di accuratezza. Inizia con un modello di machine learning creato con MXNet, TensorFlow, PyTorch o XGBoost e addestrato con Amazon SageMaker. Quindi seleziona la piattaforma hardware di destinazione da Intel, NVIDIA o Arm. Con un solo clic, SageMaker Neo compilerà il modello addestrato in eseguibile. Il compilatore usa una rete neurale per scoprire e applicare tutte le ottimizzazioni specifiche di prestazioni che permetteranno di eseguire il tuo modello più efficientemente sulla piattaforma hardware di destinazione. Il modello può quindi essere distribuito per iniziare a effettuare stime nel cloud o nell’edge. Le funzionalità di elaborazione locale e ML Inference possono essere trasportate nell’edge con AWS Greengrass. Per facilitare le distribuzioni edge, AWS Greengrass supporta i modelli ottimizzati con Neo, consentendoti di distribuire i tuoi modelli direttamente sull'edge con aggiornamenti over-the-air.

Neo utilizza Apache TVM e altri compilatori e librerie del kernel fornite dai partner. Neo è inoltre disponibile come codice open source tramite il progetto Neo-AI con la licenza software Apache, permettendo agli sviluppatori di personalizzare il software per diversi dispositivi e applicazioni.

Vantaggi

Esecuzione di modelli ML con prestazioni migliorate del doppio

Amazon SageMaker Neo ottimizza automaticamente i modelli di apprendimento automatico TensorFlow, MXNet, PyTorch e XGBoost, migliorandone le prestazioni fino al doppio della velocità e senza perdita di accuratezza. Usando l’apprendimento approfondito, SageMaker Neo scopre e applica ottimizzazioni di codice al tuo modello specifico e all’hardware su cui verrà distribuito. Questo ti offre i vantaggi delle prestazioni ottenute con ottimizzazione manuale senza il lavoro corrispondente.



Riduci a un decimo le dimensioni del framework.

Amazon SageMaker Neo riduce le operazioni di software nel framework del tuo modello solo a quelle necessarie per effettuare stime. Di solito questo riduce a un decimo la quantità di memoria necessaria per il framework. Il modello e il framework vengono quindi compilati in un unico eseguibile che può essere distribuito in produzione per effettuare stime rapide a bassa latenza. 

Esecuzione dello stesso modello ML su più piattaforme hardware

Amazon SageMaker Neo ti consente di addestrare il tuo modello una sola volta e di eseguirlo virtualmente ovunque con un unico eseguibile. Neo capisce come ottimizzare automaticamente il tuo modello per le architetture processore per Intel, NVIDIA, Arm, Cadence, Qualcomm e Xilinx, rendendo la preparazione del tuo modello per più piattaforme più facile con pochi passi nella console Amazon SageMaker. 

Come funziona

Product-Page-Diagram_Neo-How-it-Works

Caratteristiche principali

Utilizza il framework di apprendimento approfondito che preferisci

Amazon SageMaker Neo converte le funzioni e le operazioni specifiche del framework per TensorFlow, MXNet e PyTorch in un unico eseguibile compilato che può essere eseguito ovunque. Neo compila e genera automaticamente il codice software necessario.

Operazioni software facili ed efficienti

Amazon SageMaker Neo genera un eseguibile che viene distribuito su istanze cloud e su dispositivi edge. Il runtime di Neo riduce a un decimo l’utilizzo di risorse quali lo storage sulle piattaforme di distribuzione ed elimina la dipendenza dai framework. Ad esempio, il runtime di Neo occupa 2,5 MB di storage rispetto alle distribuzioni basate su framework che possono occupare fino a 1 GB di storage.

Software open source

Neo è disponibile come codice open source tramite il progetto Neo-IA con la licenza software Apache. Questo consente agli sviluppatori e ai fornitori di hardware di personalizzare applicazioni e piattaforme hardware e sfruttare l’ottimizzazione di Neo e le tecniche di utilizzo ridotto delle risorse.  

Product-Page_Standard-Icons_01_Product-Features_SqInk
Scopri le caratteristiche di Amazon SageMaker Neo

Riferisciti alla documentazione per le istruzioni sull’utilizzo di Amazon SageMaker Neo.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrati per creare un account gratuito

Ottieni accesso istantaneo al piano gratuito di AWS. 

Registrati 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Inizia subito nella console

Inizia subito a utilizzare Amazon SageMaker Neo nella Console di gestione AWS.

Accedi