Discover Financial Services développe une solution d’IA générative sur AWS pour accélérer la prise de décisions et les délais de commercialisation

Société de services bancaires et de paiement numériques basée à Chicago, Discover vise à aider les gens à dépenser plus intelligemment, à mieux gérer leurs dettes et à épargner davantage. Dans ses différents secteurs d’activité, notamment la gestion des décisions et des risques de crédit et de portefeuille, Discover a dû relever le défi de pouvoir lancer ses services assez rapidement. « Nous voulions être en mesure de prendre des décisions plus rapidement et d’obtenir des informations plus vite afin d’accélérer la réponse à nos clients », explique Rahul Gupta, ingénieur expert en plateforme IA/ML chez Discover.

La banque souhaitait utiliser l’IA générative et le ML pour analyser les données et générer des informations. Elle cherchait également des moyens d’entraîner plus rapidement de grands modèles de langage et d’utiliser la capacité de calcul de manière optimale afin de réduire les délais de commercialisation. Discover a décidé d'exécuter sa solution de science des données sur Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail.

Amazon EC2 fait partie de l'infrastructure d'intelligence artificielle d'AWS , qui contribue à accélérer l'innovation en matière d'IA. Les entreprises et les développeurs peuvent utiliser cette infrastructure complète, sécurisée et économique pour créer des applications d’IA dotées d’un ensemble complet de fonctionnalités d’IA et de ML en matière de calcul, de réseau et de stockage.

Discover a créé un espace de travail d’analytique sur Amazon EC2 et un espace de travail de science des données unifié que ses scientifiques des données peuvent utiliser pour exécuter ou traiter des applications d’IA/ML, entraîner des modèles avec des échantillons de grande taille (nécessitant jusqu’à 6 To de mémoire) et fournir un calcul haute performance (HPC) dans le cloud à l’aide de GPU. « Nous avons fourni à nos scientifiques un entrepôt de données à l’échelle du cloud doté d’un HPC à mise à l’échelle à la demande, et nous avons accéléré notre innovation analytique », déclare M. Gupta.

Discover utilise les instances Amazon EC2 P3 pour accélérer les applications ML et HPC avec de puissants GPU pour les tâches nécessitant une configuration multi-GPU. Il utilise également les instances Amazon EC2 P4 pour obtenir des performances élevées pour les applications ML et HPC dans le cloud. L’équipe a consacré beaucoup de temps à l’optimisation de l’architecture et à la mise en œuvre des pratiques exemplaires afin d’accélérer l’analytique et de fournir des informations plus rapidement. « Nous voulions nous assurer que les temps d’exécution de notre infrastructure, en particulier de notre calcul, étaient optimisés », explique Will Hinton, directeur de l’ingénierie des plateformes de données et d’IA chez Discover.

Par exemple, l’équipe a effectué des tests de référence à l’aide de différents modèles et codes pour évaluer la vitesse de traitement de 20 000 lignes de données, transcrites à partir d’interactions enregistrées entre les agents du service client et les clients. Avec 16 processeurs, le traitement a pris entre 6,5 et 7 heures, tandis qu’il n’a pris que 23 minutes sur une configuration à un seul GPU. L’utilisation de plusieurs GPU a permis de réduire le temps de traitement à 4 minutes, mais a également augmenté les coûts. Cela a aidé l’équipe Discover à choisir différentes configurations de GPU en fonction des exigences du cas d’utilisation et des coûts.

Discover utilise Amazon Simple Storage Service (Amazon S3), un système de stockage d’objets conçu pour récupérer n’importe quel volume de données, où que vous soyez, pour stocker les artefacts du modèle. Pour partager ces artefacts et données avec différentes équipes d'ingénierie et différents secteurs d'activité, Discover utilise Amazon Elastic File System (Amazon EFS), qui fournit un stockage entièrement élastique et sans serveur. Cette solution est connectée à l’outil d’observabilité, à l’entrepôt de données et aux référentiels de code source de Discover.

Simple à utiliser, la solution est conçue pour servir les intérêts des scientifiques des données. « Un scientifique des données peut accéder à l’outil d’automatisation de la solution, sélectionner le modèle et sélectionner le calcul et l’instance Amazon EC2 en fonction de ses besoins : multi-GPU, GPU unique ou application liée à la mémoire », explique M. Gupta. « Il lui suffit de sélectionner, de cliquer et c’est terminé. »

La solution a permis à Discover de réduire le délai d’obtention des informations. Grâce à la vectorisation des fonctionnalités, l’équipe a réduit le délai de commercialisation de quelques heures à quelques minutes. La puissance de calcul élevée disponible a été utilisée pour l’entraînement parallèle des modèles, ce qui a permis de réduire le temps de traitement de 30 millions d’enregistrements de plusieurs jours à quelques heures. Pour l’analyse des sentiments, par exemple pour déterminer si un client était satisfait ou insatisfait après avoir parlé à un agent du service client, la solution a permis de réduire le temps de traitement d’un jeu de données de 57 000 enregistrements de plusieurs heures à quelques minutes.

L’équipe Discover a mis la solution au service d’un cas d’utilisation permettant de gérer le modèle « Ne pas contacter » de la banque. Pour les clients qui ne souhaitaient pas que les représentants de la banque les contactent à des fins de marketing ou similaires, l’équipe a créé un modèle permettant de classer ces clients. La solution a classé ces clients en temps quasi réel et a mis les données pertinentes à la disposition des agents du service client. Les agents ont ainsi pu identifier les clients qui ne devaient pas être contactés, ce qui a contribué à accroître la satisfaction des clients.

« L’équipe a fait un excellent travail en s’adaptant et en alignant la vitesse avec le niveau de risque », déclare Jason Strle, EVP CIO chez Discover. « Lorsque l’IA générative est utile dans un scénario où l’humain est impliqué, elle réduit les risques et permet une livraison plus rapide. Cela contraste avec les scénarios dans lesquels une solution d’IA générative interagit de manière autonome avec un client ou prend une décision commerciale d’une autre manière. Dans ces cas, davantage d’étapes de gestion des risques sont nécessaires avant de passer en production. »

L’équipe Discover souhaite maintenant explorer l’utilisation d’Amazon S3 pour ajouter des activations basées sur des événements afin de renforcer l’automatisation. Elle utilise actuellement un planificateur pour programmer les tâches quotidiennes, telles que l’identification et la classification des clients. En outre, Discover étudie des activations basées sur des événements avec des mécanismes de mise en file d’attente afin de réutiliser le calcul pour d’autres cas d’utilisation de l’IA générative. Cela permettra de réduire davantage les coûts de calcul liés à ses cas d’utilisation de l’IA générative.

« Cette solution, basée sur des instances Amazon EC2 optimisées par des GPU, nous aide à réduire les risques et à améliorer l’expérience client », déclare M. Gupta.