Sprinklr reduziert die Kosten für Machine Learning in AWS Inferentia

Sprinklr wurde 2009 gegründet und ist ein amerikanisches Softwareunternehmen mit Mitarbeitern auf der ganzen Welt. Das Unternehmen setzt neue AWS-Services frühzeitig ein und hat es sich zur Aufgabe gemacht, Unternehmen auf der ganzen Welt dabei zu unterstützen, ihre Kunden glücklicher zu machen. Es bietet über 31 verschiedene Softwareprodukte in 4 robusten Produktsuiten und hat eine fortschrittliche proprietäre Engine für künstliche Intelligenz entwickelt, mit der Unternehmen öffentlich verfügbare Daten analysieren und über 30 digitale und soziale Kanäle mit Kunden in Kontakt treten können. Mit Sprinklr können Unternehmen intern teamübergreifend und extern über digitale Kanäle zusammenarbeiten, um ein besseres Kundenerlebnis zu schaffen.

Sprinklr ist stets bemüht, das Kundenerlebnis zu verbessern und gleichzeitig die Datenverarbeitungskosten zu senken und die Effizienz zu optimieren. „Unser Ziel ist es, immer größere Kosteneinsparungen zu erzielen, indem wir die neueste Technologie nutzen“, sagt Jamal Mazhar, Vice President of Infrastructure and DevOps bei Sprinklr. Sprinklr wollte die Latenz reduzieren und gleichzeitig seine ML-Inferenzkosten senken, und setzte auf Innovationen von AWS, um diese Herausforderungen anzugehen. „Als wir von AWS Inferentia erfuhren, war es für uns ein natürlicher Prozess, dies bei unseren Kosteninitiativen zu berücksichtigen“, sagt Yogin Patel, Senior Director of Product Engineering, Artificial Intelligence bei Sprinklr. Mit dem Ziel, die Datenverarbeitungskosten zu senken und die Kundenzufriedenheit zu verbessern, begann Sprinklr im Juli 2021 mit dem Testen von Amazon-EC2-Inf1-Instances.

Die Unified-CXM-Plattform von Sprinklr verwendet ML-Algorithmen für unstrukturierte Daten, die aus vielen verschiedenen Kanälen stammen, und liefert den Kunden des Unternehmens die passenden Erkenntnisse. Die ML-Modelle des Unternehmens für natürliche Sprachverarbeitung und Computer Vision analysieren beispielsweise verschiedene Datenformate, die aus Social-Media-Posts, Blog-Beiträgen, Videoinhalten und anderen Inhalten stammen, die in öffentlichen Domains auf mehr als 30 Kanälen verfügbar sind. Sprinklr ist in der Lage, aus diesen Inhalten die Stimmung und Absicht der Käufer abzuleiten, um seinen Kunden Produkterkenntnisse zu bieten. Derzeit führt das Unternehmen in seinen mehr als 500 Modellen täglich rund 10 Milliarden Prognosen durch. Sprinklr unterteilt seine Workloads in zwei Gruppen: latenzoptimiert und durchsatzoptimiert. Die Latenz gibt an, wie lange es dauert, bis eine Inferenz ihr Ziel erreicht, und der Durchsatz bezieht sich auf die Anzahl der Pakete, die innerhalb eines bestimmten Zeitraums verarbeitet werden. „Wenn die Latenz auch nur bei einem Modell um 20 Prozent sinkt, führt das zu sehr großen Kosteneinsparungen“, sagt Patel.

AWS Inferentia verfügt über eine große Menge an On-Chip-Speicher, der für das Caching großer Modelle verwendet werden kann, anstatt diese Off-Chip zu speichern. Dies kann erhebliche Auswirkungen auf die Reduzierung der Inferenzlatenz haben, da die Datenverarbeitungskerne von AWS Inferentia, sogenannte NeuronCores, schnellen Zugriff auf Modelle haben, die im On-Chip-Speicher gespeichert und nicht durch die externe Speicherbandbreite begrenzt sind. NeuronCores bieten außerdem leistungsstarke Inferenz in der Cloud zu deutlich niedrigeren Kosten und erleichtern es Entwicklern, ML in ihre Geschäftsanwendungen zu integrieren.

Als Sprinklr begann, Modelle auf Amazon-EC2-Inf1-Instances zu migrieren und Benchmark-Tests durchzuführen, verzeichnete das Unternehmen eine um mehr als 30 Prozent geringere Latenz bei den latenzoptimierten Workloads. „Wir sind immer daran interessiert, neue AWS-Services zu testen, mit Workloads zu experimentieren und neue Instances Benchmark-Tests zu unterziehen“, sagt Patel. Angesichts der deutlich reduzierten Latenz, die AWS Inferentia in Tests erzielen konnte, entschied sich Sprinklr, alle seine latenzoptimierten Workloads zu Amazon-EC2-Inf1-Instances zu migrieren. „Das Ziel ist immer eine geringere Latenz, was ein besseres Kundenerlebnis bedeutet“, sagt Mazhar. „Mit Amazon-EC2-Inf1-Instances können wir das erreichen.“

Nach der Migration von etwa 20 Modellen zu Amazon-EC2-Inf1-Instances begann Sprinklr mit der Migration seiner Computer-Vision- und Textmodelle, um die Effizienz zu verbessern und Kosten zu sparen. Das Team ist nun in der Lage, ein Modell mit Amazon-EC2-Inf1-Instances in weniger als 2 Wochen bereitzustellen. Bei der Migration zu AWS Inferentia erwies sich der Prozess als einfach, da zahlreiche Ressourcen und der nötige Support zur Verfügung standen. „Wir konnten schnell mit den richtigen Teams Kontakt aufnehmen“, sagt Mazhar. „Der Support von AWS hilft uns, unsere Kundenzufriedenheit und die Produktivität unserer Mitarbeiter zu steigern.“

Sprinklr setzt die Migration von Modellen zu AWS Inferentia fort und wird weitere sprachbezogene Modelle hinzufügen, einschließlich automatischer Spracherkennung und Absichtserkennung, um Unternehmen bei einer besseren Interaktion mit ihren Kunden zu unterstützen. Sprinklr geht davon aus, dass die Bereitstellung dieser Modelle in AWS Inferentia seinen Kunden die benötigte Leistung und geringe Latenz zu deutlich niedrigeren Kosten bieten wird.