Discover Financial Services sviluppa una soluzione di IA generativa su AWS per accelerare il processo decisionale e il time-to-market

Discover, società di servizi bancari e di pagamento digitali con sede a Chicago, si propone di aiutare le persone a spendere in modo più intelligente, gestire meglio i debiti e risparmiare di più. Nelle sue varie linee di business, tra cui la gestione del rischio decisionale, del credito e del portafoglio finanziario, Discover ha dovuto affrontare la sfida di garantire il lancio dei suoi servizi con sufficiente rapidità. “Volevamo prendere decisioni e ottenere informazioni più rapidamente, in modo da poter rispondere più velocemente ai nostri clienti”, afferma Rahul Gupta, AI/ML Expert Platform Engineer presso Discover.

La banca desiderava utilizzare l'IA generativa e il ML per analizzare i dati e generare approfondimenti. Era inoltre alla ricerca di modi per addestrare più velocemente modelli linguistici di grandi dimensioni (LLM) e utilizzare la capacità di calcolo in modo ottimale per ridurre il time-to-market. Discover ha deciso di eseguire la sua soluzione di data science su Amazon Elastic Compute Cloud (Amazon EC2), che fornisce capacità di calcolo sicura e ridimensionabile praticamente per qualsiasi carico di lavoro.

Amazon EC2 fa parte dell'infrastruttura AI di AWS , che aiuta ad accelerare l'innovazione dell'IA. Le aziende e gli sviluppatori possono utilizzare l'infrastruttura completa, sicura e conveniente per creare applicazioni di IA con un set ampio e completo di funzionalità di IA e ML in termini di calcolo, rete e archiviazione.

Discover ha creato un workbench di analisi su Amazon EC2 e un workbench di data science unificato che i suoi data scientist possono utilizzare per eseguire o elaborare applicazioni di IA/ML, addestrare modelli con campioni di grandi dimensioni (che richiedono fino a 6 TB di memoria) e fornire calcolo ad alte prestazioni (HPC) nel cloud utilizzando GPU core. “Abbiamo fornito ai nostri data scientist un data warehouse su scala cloud con scalabilità HPC on-demand e abbiamo accelerato l'innovazione nel processo di analisi”, sostiene Gupta.

Discover utilizza le istanze P3 di Amazon EC2 per accelerare le applicazioni ML e HPC con potenti GPU per attività che richiedono una configurazione multi-GPU. Utilizza inoltre le istanze P4 di Amazon EC2 per ottenere prestazioni elevate per le applicazioni ML e HPC nel cloud. Il team ha dedicato molto tempo all'ottimizzazione dell'architettura e all'implementazione delle best practice per velocizzare l'analisi e fornire informazioni più rapidamente. “Volevamo assicurarci di avere tempi di esecuzione ottimizzati per la nostra infrastruttura, in particolare per il calcolo”, dichiara Will Hinton, Director of Data and AI Platforms Engineering presso Discover.

Ad esempio, il team ha eseguito test di benchmark utilizzando diversi modelli e codici per valutare la velocità di elaborazione di 20.000 righe di dati, trascritti dalle interazioni registrate tra gli operatori del servizio clienti e i clienti. Utilizzando 16 CPU, l'elaborazione ha richiesto dalle 6,5 alle 7 ore, mentre una configurazione a singola GPU ha richiesto 23 minuti. L'utilizzo di più GPU ha ridotto il tempo di elaborazione a 4 minuti, ma ha anche aumentato i costi. Ciò ha aiutato il team di Discover a scegliere diverse configurazioni della GPU in base ai requisiti del caso d'uso e ai costi.

Per archiviare gli artefatti del modello, Discover utilizza Amazon Simple Storage Service (Amazon S3), il servizio di archiviazione di oggetti progettato per consentire il recupero di qualsiasi quantità di dati da qualunque luogo. Per condividere questi artefatti e dati con diversi team di ingegneri e linee di business, Discover utilizza Amazon Elastic File System (Amazon EFS), che fornisce uno storage senza server e completamente elastico. Questa soluzione è connessa allo strumento di osservabilità, al data warehouse e ai repository di codice sorgente di Discover.

La soluzione è semplice da usare ed è stata progettata per consentire ai data scientist di utilizzarla in autonomia. “I data scientist possono accedere allo strumento di automazione della soluzione, selezionare il modello e scegliere istanze di calcolo e Amazon EC2 in base alle loro esigenze: multi-GPU, a GPU singola o un'applicazione con vincoli di memoria”, spiega Gupta. “Basta selezionare, fare clic e il gioco è fatto”.

La soluzione ha aiutato Discover a ridurre i tempi di acquisizione delle informazioni. Grazie all'embedding delle funzionalità, il team ha ridotto il time-to-market da ore a minuti. L'elevata potenza di calcolo disponibile è stata utilizzata per l'addestramento parallelo dei modelli, riducendo il tempo di elaborazione di 30 milioni di record da giorni a ore. Per l'analisi del sentiment, ad esempio per analizzare se un cliente era soddisfatto o insoddisfatto dopo aver parlato con un agente del servizio clienti, la soluzione ha contribuito a ridurre il tempo di elaborazione di un set di dati di 57.000 record da ore a minuti.

Il team di Discover ha impiegato la soluzione per un caso d'uso relativo alla gestione dei clienti. che non volevano essere contattati dai rappresentanti della banca per scopi di marketing e simili e ha creato un modello per classificarli. La soluzione ha classificato i clienti quasi in tempo reale e ha messo i dati pertinenti a disposizione degli agenti di assistenza clienti. Gli agenti hanno così potuto identificare i clienti da non contattare, contribuendo ad aumentare la soddisfazione di questi ultimi.

“Il team ha svolto un ottimo lavoro adattando e adeguando la velocità al rischio”, dichiara Jason Strle, EVP CIO di Discover. “Quando l'IA generativa interviene in uno scenario con supervisione umana (human-in-the-loop), riduce i rischi e consente una maggiore velocità di esecuzione. Ciò può essere contrapposto agli scenari in cui una soluzione di IA generativa interagisce autonomamente con un cliente o prende decisioni aziendali. In questi casi, ci sono più rischi per arrivare alla produzione”.

Il team di Discover intende ora valutare l'utilizzo di Amazon S3 per aggiungere attivazioni basate su eventi per una maggiore automazione. Attualmente utilizza uno scheduler per pianificare le attività quotidiane, come l'identificazione e la classificazione dei clienti. Inoltre, Discover sta valutando l'utilizzo di attivazioni basate su eventi con meccanismi di accodamento per riutilizzare il calcolo per altri casi d'uso dell'IA generativa. Ciò contribuirà a ridurre ulteriormente i costi di calcolo per i suoi casi d'uso dell'IA generativa.

“Questa soluzione, basata su istanze Amazon EC2 alimentate da GPU, ci consente di ridurre i rischi e di migliorare l'esperienza cliente”, sostiene Gupta.