Clienti di AWS Inferentia

NetoAI offre la suite TelcoCore, che include TSLAM, ViNG, DigiTwin e NAPI, per aiutare le aziende di telecomunicazioni ad automatizzare le loro complesse operazioni multidominio e la gestione del ciclo di vita dei clienti. Un esempio di questa innovazione è il nostro TSLAM LLM, il primo modello open source e orientato all’azione per questo settore. Per crearlo, abbiamo utilizzato un modello basato sul nostro enorme set di dati proprietario da 2 miliardi di token e, grazie a Amazon SageMaker con le istanze AWS Trainium trn1, abbiamo notevolmente ridotto i costi e completato l’intero processo di fine-tuning in meno di tre giorni. Per quanto riguarda la produzione, AWS Inferentia2 e Neuron SDK garantiscono una latenza di inferenza costantemente bassa, compresa tra 300 e 600 ms. Questa soluzione end-to-end su chip IA di AWS appositamente progettata, è fondamentale per la nostra missione di fornire un’IA specializzata e ad alte prestazioni a tutto il settore delle telecomunicazioni.

 

Ravi Kumar Palepu Fondatore e CEO

L’addestramento di modelli audio-to-audio di grandi dimensioni per HummingLM richiede un’elaborazione intensiva e molteplici iterazioni. Migrando i nostri carichi di lavoro di addestramento su AWS Trainium e orchestrandoli con Amazon SageMaker HyperPod, abbiamo registrato una riduzione dei costi di addestramento del 54% e un aumento della velocità dei cicli di addestramento del 50%, mantenendo invariata la precisione del modello. Inoltre, abbiamo migrato oltre 2 PB di dati su Amazon S3 in una sola settimana, avvalendoci di Amazon FSx per Lustre per garantire un accesso ad alto throughput e bassa latenza ai dati di addestramento e ai checkpoint. Grazie alle istanze Inf2 basate su AWS Inferentia2, le nostre latenze di inferenza possono essere ridotte fino a 10 volte, consentendo una generazione di musica in tempo reale significativamente più veloce e reattiva.