Optimierung von Kosten und Leistung für generative KI mit Amazon SageMaker und Forethought Technologies

Die Suite der Kundenservice-Lösungen von Forethought basiert auf generativer KI, einer Art von KI, mit der neue Inhalte und Ideen entstehen können, darunter Konversationen, Geschichten, Bilder, Videos und Musik. Im Mittelpunkt des Produkts von Forethought steht die SupportGPT-Technologie, die große Sprachmodelle und Informationsabrufsysteme verwendet, um jedes Jahr über 30 Millionen Kundeninteraktionen zu ermöglichen. Durch Automatisierung entlastet das Unternehmen die Kundenserviceteams, indem es die Nutzer mit konversationeller KI unterstützt. Viele Kunden von Forethought nutzen das Produkt in Zeiten mit hohem Arbeitsaufkommen, wie z. B. in der Urlaubs- oder Steuersaison, um mehr Kundenanfragen mit weniger Kundendienstmitarbeitern zu bearbeiten. Forethought bietet hyperpersonalisierte ML-Modelle für seine Kunden an und trainiert oft mehrere Modelle pro Kunde, um individuelle Anwendungsfälle zu erfüllen.

Forethought wurde 2017 in den USA gegründet und nutzte zunächst mehrere Cloud-Anbieter, um seine Produkte zu hosten. Amazon SageMaker wurde für das Training von ML-Modellen verwendet. In den ersten zwei Jahren entwickelte das Unternehmen eine Lösung für seine ML-Inferenz mithilfe von Amazon Elastic Kubernetes Service (Amazon EKS), einem verwalteten Kubernetes-Service zur Ausführung von Kubernetes in der AWS Cloud und On-Premises. Da das Unternehmen weiter wuchs und neue Kunden gewann, wollte es die Verfügbarkeit seiner Lösung verbessern und die Kosten senken.

Um seinen Anforderungen an Skalierbarkeit, Verfügbarkeit und Kostenoptimierung gerecht zu werden, entschied sich Forethought dafür, seine ML-Inferenz zu Amazon SageMaker zu migrieren. Das Unternehmen begann, zusätzliche Features von Amazon SageMaker zu nutzen, um seine Produkte zu verbessern. In diesem Prozess hat Forethought seine Pipeline so gestaltet, dass sie von den Latenz- und Verfügbarkeitsverbesserungen profitiert, die mit Amazon SageMaker erreicht werden können. "Das Amazon-SageMaker-Team stellt für alles, was wir brauchen, den Kontakt zu den richtigen Leuten her, damit wir AWS erfolgreich nutzen können", sagt Jad Chamoun, Director of Core Engineering bei Forethought.

Forethought migrierte seine ML-Inferenz von Amazon EKS zu Amazon-SageMaker-Model-Deployment-Multimodell-Endpunkten mit mehreren Modellen, einer skalierbaren und kostengünstigen Lösung für die Bereitstellung einer großen Anzahl von Modellen. Ein Beispiel für die Anwendung dieses Features in der Lösung von Forethought ist die automatische Vervollständigung der nächsten Wörter in einem Satz, wenn ein Benutzer tippt. Das Unternehmen verwendet Amazon-SageMaker-Endpunkte mit mehreren Modellen, um mehrere ML-Modelle auf einem einzigen Inferenzendpunkt auszuführen. Dies verbessert die Skalierbarkeit und Effizienz von Hardwareressourcen wie GPUs. Das Unternehmen reduzierte außerdem die Kosten durch den Einsatz von Amazon SageMaker-Multimodell-Endpunkten. "Mit Amazon SageMaker können wir unsere Kunden zu niedrigeren Kosten pro Kunde unterstützen", sagt Chamoun. "Durch die Migration zu Amazon SageMaker Multimodell-Endpunkten konnten wir unsere Kosten um bis zu 66 Prozent senken und gleichzeitig bessere Latenz- und Reaktionszeiten für unsere Kunden bieten."

Forethought verwendet auch Amazon SageMaker Serverless Inference, eine speziell entwickelte Inferenzoption, um ML-Modelle bereitzustellen und zu skalieren, ohne die zugrunde liegende Infrastruktur zu konfigurieren oder zu verwalten. Bei der Verwendung von Amazon SageMaker Serverless Inference durch Forethought geht es um kleine Modelle und Klassifikatoren, die auf jeden Kundenanwendungsfall abgestimmt sind, wie z. B. die automatische Bestimmung der Priorität eines Support-Tickets. Durch die Migration einiger seiner Klassifikatoren zu Amazon SageMaker Serverless Inference sparte Forethought rund 80 Prozent der damit verbundenen Cloud-Kosten ein.

Das Cloud-Infrastrukturteam von Forethought besteht aus drei Personen. Das Ausführen und Verwalten aller ML-Modelle und Kubernetes-Cluster war zu viel Aufwand für das kleine Team. Mit Amazon SageMaker kann das Unternehmen mit den vorhandenen Mitarbeitern so viel wie nötig skalieren. „Wir führen mehrere Instances auf Amazon-SageMaker-Multimodell-Endpunkten aus“, sagt Chamoun. „Wir können Ressourcen effizienter teilen und bieten gleichzeitig eine bessere Verfügbarkeit als in der Vergangenheit.“

Durch den Einsatz von Amazon SageMaker muss sich das Forethought-Team keine Gedanken mehr über Speicherausnahmen oder Verfügbarkeit machen - Probleme, mit denen die drei Ingenieure sonst viel Zeit hätten verbringen müssen. Da das Unternehmen die automatisierten Pipelines für Sprachmodelle mithilfe von Amazon SageMaker eingerichtet hat, können die Teams von Forethought und seine Kunden die Daten, die sie trainieren möchten, direkt eingeben und übermitteln. "Wir mussten uns nicht um die Schulung, den Einsatz und die Skalierung kümmern, was uns die Möglichkeit gab, an anderen Dingen zu arbeiten, die für das Unternehmen wichtiger sind", sagt Chamoun. Forethought führt jetzt über 80 Prozent seiner GPU-Inferenz auf Amazon SageMaker zwischen Amazon SageMaker-Multimodell-Endpunkten und Amazon SageMaker Serverless Inference aus.