Kunden von AWS Inferentia

NetoAI bietet die TelcoCore-Suite – einschließlich TSLAM, ViNG, DigiTwin und NAPI – an, um Telekommunikationsunternehmen bei der Automatisierung ihrer komplexen, domainübergreifenden Abläufe und des Kundenlebenszyklusmanagements zu unterstützen. Ein Eckpfeiler davon ist unser TSLAM LLM, das erste handlungsorientierte Open-Source-Modell für diesen Sektor. Um es zu erstellen, mussten wir ein Modell auf der Grundlage unseres riesigen geschützten Datensatzes mit 2 Milliarden Token verfeinern. Durch die Verwendung von Amazon SageMaker mit AWS-Trainium trn1-Instances erzielten wir bemerkenswerte Kosteneinsparungen und schlossen die gesamte Feinabstimmung in weniger als drei Tagen ab. Für die Produktion bieten uns AWS Inferentia2 und das Neuron SDK eine konstant niedrige Inferenzlatenz zwischen 300 und 600 ms. Diese Komplettlösung auf speziell von AWS entwickelten AWS-KI-Chips ist der Schlüssel zu unserer Mission, spezialisierte, leistungsstarke KI für die gesamte Telekommunikationsbranche bereitzustellen.

 

Ravi Kumar Palepu Gründer und CEO

Das Training großer Audio-Audio-Modelle für HumminGLM ist sowohl datenverarbeitungsintensiv als auch iterationsintensiv. Durch die Migration unserer Trainingsworkloads zu AWS Trainium und deren Orchestrierung mit Amazon SageMaker HyperPod erzielten wir 54 Prozent niedrigere Trainingskosten und 50 Prozent schnellere Trainingszyklen bei gleichbleibender Modellgenauigkeit. Außerdem migrierten wir in nur einer Woche über 2 PB an Daten zu Amazon S3 und nutzten Amazon FSx für Lustre für den Zugriff auf Trainingsdaten und Prüfpunklte mit hohem Durchsatz und niedriger Latenz. Mit auf AWS Inferentia2 basierenden Inf2-Instances können unsere Inferenzlatenzen um das bis zu 10-fache reduziert werden, was eine schnellere und reaktionsschnellere Musikgenerierung in Echtzeit ermöglicht.