Discover Financial Services crea una solución de IA generativa con AWS para acelerar la toma de decisiones y el tiempo de comercialización

Discover, una empresa de servicios de pago y banca digital con sede en Chicago, tiene como objetivo ayudar a las personas a gastar de manera más inteligente, administrar mejor sus deudas y ahorrar más. En sus diversas líneas de negocio, incluida la toma de decisiones y la administración de riesgos crediticios y de cartera, Discover se enfrentó al desafío de asegurarse de poder lanzar sus servicios con la suficiente rapidez. “Queríamos agilizar la toma decisiones y la obtención de información para poder responder más rápido a nuestros clientes”, afirma Rahul Gupta, ingeniero de plataformas experto en IA/ML de Discover.

El banco quería utilizar la IA generativa y el ML para analizar los datos y generar información. También buscaba formas de entrenar modelos de lenguaje de gran tamaño con mayor rapidez y utilizar la capacidad de computación de forma óptima para reducir el tiempo de comercialización. Discover decidió ejecutar su solución de ciencia de datos en Amazon Elastic Compute Cloud (Amazon EC2), que proporciona una capacidad informática segura y redimensionable para prácticamente cualquier carga de trabajo.

Amazon EC2 forma parte de la infraestructura de IA de AWS , que ayuda a acelerar la innovación en IA. Las empresas y los desarrolladores pueden usar la infraestructura integral, segura y rentable para crear aplicaciones de IA con un conjunto amplio y profundo de capacidades de IA y ML en computación, redes y almacenamiento.

Discover creó un banco de trabajo de análisis en Amazon EC2 y un banco de trabajo de ciencia de datos unificado que sus científicos de datos pueden usar para ejecutar o procesar aplicaciones de IA/ML, entrenar modelos con tamaños de muestra grandes, que requieren hasta 6 TB de memoria, y ofrecer computación de alto rendimiento (HPC) en la nube mediante GPU principales. “Hemos proporcionado a nuestros científicos un almacén de datos a escala de nube con escalado de HPC bajo demanda y hemos acelerado nuestra innovación analítica”, afirma Gupta.

Discover usa las instancias P3 de Amazon EC2 para acelerar las aplicaciones de ML y HPC con potentes GPU para tareas que requieren una configuración de varias GPU. También utiliza instancias P4 de Amazon EC2 para obtener un alto rendimiento para las aplicaciones de ML y HPC en la nube. El equipo dedicó un tiempo considerable a optimizar la arquitectura e implementar las prácticas recomendadas para ayudar a agilizar los análisis y la entrega de información. “Queríamos asegurarnos de que teníamos tiempos de ejecución optimizados para nuestra infraestructura, especialmente para nuestra capacidad de computación”, afirma Will Hinton, director de ingeniería de plataformas de datos e inteligencia artificial de Discover.

Por ejemplo, el equipo realizó pruebas comparativas utilizando diferentes modelos y códigos para evaluar la velocidad de procesamiento de 20 000 filas de datos, transcritas a partir de interacciones grabadas entre los agentes de servicio al cliente y los clientes. Con 16 CPU, el procesamiento tardó entre 6,5 y 7 horas, mientras que la configuración de una sola GPU tardó 23 minutos. El uso de varias GPU redujo el tiempo de procesamiento a 4 minutos, pero también aumentó los costos. Esto ayudó al equipo de Discover a elegir diferentes configuraciones de GPU en función de los requisitos de los casos de uso y el costo.

Discover usa Amazon Simple Storage Service (Amazon S3), un almacenamiento de objetos creado para recuperar cualquier cantidad de datos desde cualquier lugar, para almacenar los artefactos del modelo. Para compartir estos artefactos y datos con diferentes equipos de ingeniería y líneas de negocio, Discover utiliza Amazon Elastic File System (Amazon EFS), que proporciona un almacenamiento totalmente elástico y sin servidor. Esta solución está conectada a la herramienta de observabilidad, el almacén de datos y los repositorios de código fuente de Discover.

La solución es fácil de usar y está diseñada para ser útil para los científicos de datos. “Un científico de datos puede ir a la herramienta de automatización de soluciones, seleccionar la plantilla y seleccionar la instancia de computación y Amazon EC2 en función de sus requisitos: varias GPU, una sola GPU o una aplicación vinculada a la memoria”, afirma Gupta. “Simplemente seleccionan, hacen clic y listo”.

La solución ayudó a Discover a reducir el tiempo necesario para obtener información. Gracias a la incrustación de características, el equipo redujo el tiempo de comercialización de horas a minutos. La alta potencia de computación disponible se utilizó para el entrenamiento de modelos paralelos, lo que redujo el tiempo de procesamiento de 30 millones de registros de días a horas. Para el análisis de opiniones (por ejemplo, para analizar si un cliente estaba satisfecho o insatisfecho después de hablar con un agente de servicio al cliente), la solución ayudó a reducir el tiempo de procesamiento de un conjunto de datos de 57 000 registros de horas a minutos.

El equipo de Discover puso en práctica la solución en un caso de uso para gestionar el modelo de “no contactar” del banco. Para los clientes que no querían que los representantes del banco se pusieran en contacto con ellos con fines de marketing y similares, el equipo creó un modelo para clasificar a dichos clientes. La solución clasificó a estos clientes casi en tiempo real y puso los datos pertinentes a disposición de los agentes de atención al cliente. De este modo, los agentes podían identificar a los clientes a los que no se debía contactar, lo que ayudó a mejorar la satisfacción de los clientes.

“El equipo hizo un gran trabajo adaptando y ajustando la velocidad con el riesgo”, afirma Jason Strle, vicepresidente ejecutivo y director de información de Discover. “Cuando la IA generativa ayuda en un escenario en el que las personas intervienen en el proceso, se reduce el riesgo y se agiliza la entrega. Esto puede contrastarse con los escenarios en los que una solución de IA generativa interactúa de forma autónoma con un cliente o toma una decisión empresarial de otro modo. En estos casos, hay más pasos de riesgo para llegar a la producción”.

El equipo de Discover ahora quiere explorar el uso de Amazon S3 para agregar activaciones basadas en eventos para una mayor automatización. Actualmente utiliza un programador para agendar las tareas diarias, como identificar y clasificar a los clientes. Además, Discover busca activaciones basadas en eventos con mecanismos de cola para reutilizar la capacidad de computación para otros casos de uso de IA generativa. Esto ayudará a reducir aún más los costos de computación para sus casos de uso de IA generativa.

“Esta solución, basada en instancias de Amazon EC2 impulsadas por GPU, nos ayuda a reducir el riesgo y a mejorar la experiencia del cliente”, afirma Gupta.