Discover Financial Services entwickelt eine generative KI-Lösung in AWS für schnellere Entscheidungen und Markteinführungen

Das in Chicago ansässige Unternehmen Discover, ein Anbieter von digitalen Bank- und Zahlungsdienstleistungen, hat es sich zur Aufgabe gemacht, Menschen dabei zu helfen, ihre Ausgaben intelligenter zu gestalten, Schulden besser zu verwalten und mehr zu sparen. In seinen verschiedenen Geschäftsbereichen, darunter Entscheidungsfindung, Kredit- und Portfoliorisikomanagement, stand Discover vor der Herausforderung, seine Services schnell genug auf den Markt zu bringen. „Wir wollten Entscheidungen schneller treffen und schneller zu Insights gelangen, um schneller auf unsere Kunden reagieren zu können“, erklärt Rahul Gupta, AI/ML Expert Platform Engineer bei Discover.

Die Bank wollte generative KI und ML einsetzen, um Daten zu analysieren und Insights zu generieren. Außerdem suchte sie nach Möglichkeiten, große Sprachmodelle schneller zu trainieren und die Rechenkapazität optimal zu nutzen, um die Markteinführungszeit zu verkürzen. Discover entschied sich dafür, seine Data-Science-Lösung auf Amazon Elastic Compute Cloud (Amazon EC2) auszuführen, die sichere und anpassbare Rechenkapazität für praktisch jede Arbeitslast bietet.

Amazon EC2 ist Teil der AWS-KI-Infrastruktur , die dazu beiträgt, KI-Innovationen zu beschleunigen. Unternehmen und Entwickler können die umfassende, sichere und preisgünstige Infrastruktur nutzen, um KI-Anwendungen mit einem breiten und tiefen Spektrum an KI- und ML-Funktionen für Rechenleistung, Netzwerke und Speicher zu entwickeln.

Discover hat in Amazon EC2 eine Analytik-Workbench und eine einheitliche Datenwissenschafts-Workbench eingerichtet, mit denen seine Datenwissenschaftler KI-/ML-Anwendungen ausführen oder verarbeiten, Modelle mit großen Stichprobenumfängen (die bis zu 6 TB Speicher erfordern) trainieren und mithilfe von Core-GPUs High Performance Computing (HPC) in der Cloud bereitstellen können. „Wir haben unseren Wissenschaftlern ein in der Cloud befindliches Data Warehouse mit On-Demand-HPC-Skalierung zur Verfügung gestellt und unsere analytischen Innovationen beschleunigt“, so Gupta.

Discover verwendet Amazon EC2 P3-Instances , um ML- und HPC-Anwendungen mit leistungsstarken GPUs für Aufgaben zu beschleunigen, die ein Multi-GPU-Setup erfordern. Es verwendet auch Amazon EC2 P4-Instances , um eine hohe Leistung für ML- und HPC-Anwendungen in der Cloud zu erzielen. Das Team hat viel Zeit damit verbracht, die Architektur zu optimieren und Best Practices zu implementieren, um die Analytik zu beschleunigen und Insights schneller zu liefern. „Wir wollten sicherstellen, dass wir die Laufzeiten für unsere Infrastruktur, insbesondere für unsere Rechenleistung, optimiert haben“, sagt Will Hinton, Director of Data and AI Platforms Engineering bei Discover.

Das Team führte beispielsweise Benchmark-Tests mit verschiedenen Modellen und Codes durch, um die Verarbeitungsgeschwindigkeit von 20 000 Datenzeilen zu bewerten, die aus aufgezeichneten Interaktionen zwischen Kundendienstmitarbeitern und Kunden transkribiert wurden. Mit 16 CPUs dauerte die Verarbeitung 6,5 bis 7 Stunden, während eine Single-GPU-Konfiguration 23 Minuten benötigte. Durch den Einsatz mehrerer GPUs konnte die Verarbeitungszeit auf 4 Minuten reduziert werden, allerdings stiegen auch die Kosten. Das half dem Discover-Team dabei, je nach Anwendungsfall und Kosten unterschiedliche GPU-Konfigurationen auszuwählen.

Discover nutzt Amazon Simple Storage Service (Amazon S3) – einen Objektspeicher für den Abruf beliebiger Datenmengen von jedem Ort aus – zur Speicherung der Modellartefakte. Um diese Artefakte und Daten mit verschiedenen Entwicklungsteams und Geschäftsbereichen zu teilen, verwendet Discover das Amazon Elastic File System (Amazon EFS), das serverlosen, vollständig elastischen Speicher bietet. Diese Lösung ist mit dem Tool zur Beobachtbarkeit, dem Data Warehouse und den Repositorys für Quellcode von Discover verbunden.

Die Lösung ist einfach zu bedienen und so konzipiert, dass Datenwissenschaftler sie selbstständig nutzen können. „Ein Datenwissenschaftler kann das Tool zur Lösungsautomatisierung aufrufen, die Vorlage auswählen und die Rechenleistung und Amazon EC2-Instance entsprechend den Anforderungen auswählen – Multi-GPU, Single-GPU oder eine speichergebundene Anwendung“, so Gupta. „Sie wählen einfach aus, klicken und sind fertig.“

Die Lösung half Discover dabei, die Zeit bis zum Erhalt von Insights zu verkürzen. Mithilfe der Feature-Einbettung reduzierte das Team die Markteinführungszeit von Stunden auf Minuten. Die hohe Rechenleistung wurde für das parallele Modelltraining genutzt, wodurch die Verarbeitungszeit von 30 Millionen Datensätzen von Tagen auf Stunden reduziert werden konnte. Bei der Stimmungsanalyse – beispielsweise um zu analysieren, ob ein Kunde nach einem Gespräch mit einem Kundendienstmitarbeiter zufrieden oder unzufrieden war – half die Lösung, die Verarbeitungszeit eines Datensatzes mit 57 000 Datensätzen von Stunden auf Minuten zu reduzieren.

Das Discover-Team setzte die Lösung für einen Anwendungsfall zur Verwaltung des „Nicht kontaktieren“-Modells der Bank ein. Für Kunden, die nicht wollten, dass die Bankmitarbeiter sie zu Marketingzwecken oder ähnlichen Zwecken kontaktieren, erstellte das Team ein Modell zur Klassifizierung dieser Kunden. Die Lösung klassifizierte diese Kunden nahezu in Echtzeit und stellte die relevanten Daten den Kundendienstmitarbeitern zur Verfügung. Die Kundendienstmitarbeiter konnten so Kunden identifizieren, die nicht kontaktiert werden sollten, was zu einer höheren Kundenzufriedenheit führte.

„Das Team hat hervorragende Arbeit geleistet und die Geschwindigkeit an das Risiko angepasst“, sagt Jason Strle, EVP CIO bei Discover. „Wenn generative KI in einem Human-in-the-Loop-Szenario hilft, reduziert sie das Risiko und ermöglicht eine schnellere Bereitstellung. Dies steht im Gegensatz zu Szenarien, in denen eine generative KI-Lösung autonom mit einem Kunden interagiert oder anderweitig eine Geschäftsentscheidung trifft. In diesen Fällen gibt es mehr Risikostufen bis zur Produktion.“

Das Discover-Team möchte nun die Verwendung von Amazon S3 untersuchen, um ereignisbasierte Aktivierungen für eine weitere Automatisierung hinzuzufügen. Derzeit wird ein Scheduler verwendet, um tägliche Aufgaben wie die Identifizierung und Klassifizierung von Kunden zu planen. Darüber hinaus prüft Discover ereignisbasierte Aktivierungen mit Warteschlangenmechanismen, um die Rechenleistung für andere Anwendungsfälle generativer KI wiederzuverwenden. Dies wird dazu beitragen, die Rechenkosten für die Anwendungsfälle generativer KI weiter zu senken.

„Diese Lösung auf Basis von GPU-gestützten Amazon EC2-Instances hilft uns, Risiken zu reduzieren und das Kundenerlebnis zu verbessern“, so Gupta.