Clients AWS Inferentia

NetoAI fournit la suite TelcoCore, qui comprend TSLAM, ViNG, DigiTwin et NAPI, pour aider les opérateurs de télécommunications à automatiser leurs opérations complexes et multidomaines et la gestion du cycle de vie des clients. Notre TSLAM LLM, le premier modèle open source orienté vers l’action pour ce secteur, en constitue la pierre angulaire. Pour le créer, nous avons dû optimiser un modèle basé sur notre énorme jeu de données exclusives de deux milliards de jetons. En utilisant Amazon SageMaker avec les instances AWS Trainium trn1, nous avons réalisé des économies de coûts remarquables et avons terminé l’ensemble des réglages en moins de trois jours. Pour la production, AWS Inferentia2 et le SDK Neuron nous offrent une latence d’inférence constamment faible, comprise entre 300 et 600 ms. Cette solution de bout en bout basée sur des puces AWS AI spécialement conçues pour AWS est essentielle à notre mission qui consiste à fournir une IA spécialisée et performante à l’ensemble du secteur des télécommunications.

 

Ravi Kumar Palepu Fondateur et PDG

La formation de grands modèles audio/audio pour HummingLM nécessite à la fois des calculs et des itérations. En migrant nos charges de travail de formation vers AWS Trainium et en les orchestrant avec Amazon SageMaker HyperPod, nous avons réduit les coûts de formation de 54 % et accéléré les cycles de formation de 50 % tout en préservant la précision du modèle. Nous avons également migré plus de 2 Po de données vers Amazon S3 en une semaine seulement, en tirant parti d’Amazon FSx pour Lustre pour un accès haut débit et à faible latence aux données d’entraînement et aux points de contrôle. Grâce aux instances Inf2 alimentées par AWS Inferentia2, nos latences d’inférence peuvent être réduites jusqu’à 10 fois, ce qui permet une génération de musique en temps réel plus rapide et plus réactive.