Clientes do AWS Inferentia

A NetoAI fornece a suíte TelcoCore, incluindo TSLAM, ViNG, DigiTwin e NAPI, para ajudar as empresas de telecomunicações a automatizar suas operações complexas de vários domínios e o gerenciamento do ciclo de vida do cliente. Uma peça fundamental para que isso aconteça é o TSLAM LLM, o primeiro modelo de código aberto e orientado à ação para esse setor. Para criá-lo, precisávamos ajustar um modelo em nosso enorme conjunto de dados proprietários de 2 bilhões de tokens e, usando o Amazon SageMaker com instâncias trn1 do AWS Trainium obtivemos economias de custo notáveis e concluímos todo o ajuste em menos de três dias. Para produção, o AWS Inferentia2 e o Neuron SDK nos oferecem uma latência de inferência consistentemente baixa entre 300 e 600 ms. Essa solução de ponta a ponta em chips de IA da AWS criados especificamente para a AWS é fundamental para nossa missão de fornecer IA especializada e de alto desempenho para todo o setor de telecomunicações.

 

Ravi Kumar Palepu fundador e CEO

O treinamento de grandes modelos de áudio para áudio para o HummingLM exige computação e iteração intensivas. Ao migrar nossas workloads de treinamento para o AWS Trainium e orquestrá-las com o Amazon SageMaker HyperPod, alcançamos custos de treinamento 54% mais baixos e ciclos de treinamento 50% mais rápidos, mantendo a precisão do modelo. Também migramos mais de 2 PB de dados para o Amazon S3 em apenas uma semana, aproveitando o Amazon FSx para Lustre para acesso de alto throughput e baixa latência aos dados de treinamento e pontos de verificação. Com as instâncias Inf2 baseadas no AWS Inferentia2, nossas latências de inferência podem ser reduzidas em até dez vezes, permitindo geração de música em tempo real mais rápida e responsiva.