Discover Financial Services cria uma solução de IA generativa na AWS para agilizar a tomada de decisões e o tempo de lançamento no mercado

O Discover, uma empresa de serviços bancários e de pagamento digitais com sede em Chicago, tem como objetivo ajudar as pessoas a gastar de forma mais inteligente, gerenciar melhor as dívidas e economizar mais. Em suas várias linhas de negócios, incluindo decisões e gerenciamento de riscos de crédito e portfólio, o Discover enfrentava o desafio de garantir que pudesse lançar seus serviços com rapidez. “Queríamos tomar decisões mais rapidamente e obter insights rápidos para que pudéssemos responder mais rapidamente aos nossos clientes”, afirma Rahul Gupta, engenheiro de plataforma especialista em IA/ML do Discover.

O banco queria usar IA generativa e ML para analisar dados e gerar insights. A empresa também buscava maneiras de treinar grandes modelos de linguagem mais rapidamente e usar a capacidade de computação de forma otimizada para reduzir o tempo de lançamento no mercado. A Discover decidiu executar sua solução de ciência de dados no Amazon Elastic Compute Cloud (Amazon EC2), que fornece capacidade computacional segura e redimensionável para praticamente qualquer carga de trabalho.

O Amazon EC2 faz parte da infraestrutura de IA da AWS , que ajuda a acelerar a inovação em IA. Empresas e desenvolvedores podem usar a infraestrutura abrangente, segura e econômica para criar aplicações de IA com um conjunto amplo e profundo de recursos de IA e ML em computação, rede e armazenamento.

O Discover construiu uma bancada de analytics no Amazon EC2 e uma bancada de trabalho unificada de ciência de dados que seus cientistas de dados podem usar para executar ou processar aplicações de IA/ML, treinar modelos com amostras grandes, exigindo até 6 TB de memória, e oferecer computação de alto desempenho (HPC) na nuvem usando GPUs principais. “Fornecemos aos nossos cientistas um data warehouse em escala de nuvem com escalabilidade de HPC sob demanda e aceleramos nossa inovação de analytics”, diz Gupta.

O Discover usa instâncias P3 do Amazon EC2 para acelerar aplicativos de ML e HPC com GPUs poderosas para tarefas que exigem uma configuração de várias GPUs. Ele também usa instâncias P4 do Amazon EC2 para obter alto desempenho para aplicativos de ML e HPC na nuvem. A equipe passou um tempo considerável otimizando a arquitetura e implementando as melhores práticas para ajudar a acelerar a analytics e fornecer insights com mais rapidez. “Queríamos ter certeza de que tínhamos runtimes otimizados para nossa infraestrutura, especialmente nossa computação”, relata Will Hinton, diretor de engenharia de plataformas de dados e IA do Discover.

Por exemplo, a equipe realizou testes de desempenho usando diferentes modelos e códigos para avaliar a velocidade de processamento de 20.000 linhas de dados, transcritas a partir de interações gravadas entre agentes de atendimento ao cliente e clientes. Usando 16 CPUs, o processamento levou de 6,5 a 7 horas, enquanto a configuração de uma única GPU levou 23 minutos. O uso de várias GPUs reduziu o tempo de processamento para 4 minutos, mas também aumentou os custos. Isso ajudou a equipe do Discover a escolher diferentes configurações de GPU com base nos requisitos e custos do caso de uso.

O Discover usa o Amazon Simple Storage Service (Amazon S3), um armazenamento de objetos criado para recuperar qualquer quantidade de dados de qualquer lugar, para armazenar os artefatos do modelo. Para compartilhar esses artefatos e dados com diferentes equipes de engenharia e linhas de negócios, o Discover usa o Amazon Elastic File System (Amazon EFS), que fornece armazenamento sem servidor e totalmente elástico. Essa solução está conectada à ferramenta de observabilidade, data warehouse e repositórios de código-fonte do Discover.

A solução é simples de usar e foi criada como um serviço de autoatendimento para cientistas de dados. “Um cientista de dados pode acessar a ferramenta de automação da solução, selecionar o modelo e selecionar a computação e a instância do Amazon EC2 com base em seus requisitos: várias GPUs, GPU única ou uma aplicação vinculada à memória”, explica Gupta. “Basta selecionar, clicar e pronto”.

A solução ajudou o Discover a reduzir o tempo de obtenção de insights. Usando a incorporação de atributos, a equipe reduziu o tempo de comercialização de horas para minutos. A alta potência computacional disponível foi usada para o treinamento de modelos paralelos, o que reduziu o tempo de processamento de 30 milhões de registros de dias para horas. Para análise de sentimentos: por exemplo, para analisar se um cliente ficou satisfeito ou insatisfeito depois de falar com um agente de atendimento ao cliente. A solução ajudou a reduzir o tempo de processamento de um conjunto de dados de 57.000 registros de horas para minutos.

A equipe da Discover aplicou a solução em um caso de uso para gerenciar o modelo de “não entrar em contato” do banco. Para clientes que não queriam que os representantes do banco entrassem em contato com eles para fins de marketing e semelhantes, a equipe criou um modelo para classificar esses clientes. A solução classificou esses clientes quase em tempo real e disponibilizou os dados relevantes aos agentes de atendimento ao cliente. Assim, os agentes puderam identificar clientes que não deveriam ser contatados, o que ajudou a aumentar a satisfação do cliente.

“A equipe fez um ótimo trabalho adaptando e combinando a velocidade com o risco”, comenta Jason Strle, vice-presidente executivo e CIO do Discover. “Quando a IA generativa está ajudando em um cenário humano, ela reduz o risco e permite maior velocidade na entrega. Isso pode ser comparado a cenários em que uma solução de IA generativa interage de forma autônoma com um cliente ou toma uma decisão comercial. Nesses casos, há mais etapas de risco para chegar à produção”.

Agora, a equipe do Discover quer explorar o uso do Amazon S3 para adicionar ativações baseadas em eventos para maior automação. Atualmente, eles usam um agendador para agendar tarefas diárias, como identificar e classificar clientes. Além disso, o Discover está buscando ativações baseadas em eventos com mecanismos de enfileiramento para reutilizar a computação para outros casos de uso da IA generativa. Isso ajudará a reduzir ainda mais os custos de computação para seus casos de uso da IA generativa.

“Essa solução, baseada em instâncias do Amazon EC2 com GPU, está nos ajudando a reduzir riscos e melhorar a experiência do cliente”, revela Gupta.