Discover Financial Services, 더 빠른 의사 결정과 시장 출시를 위해 AWS에서 생성형 AI 솔루션 구축

시카고에 본사를 둔 디지털 뱅킹 및 결제 서비스 회사인 Discover는 사람들이 더 스마트하게 지출하고, 부채를 더 잘 관리하고, 더 많이 저축할 수 있도록 돕는 것을 목표로 합니다. 의사 결정, 신용 및 포트폴리오 위험 관리를 비롯한 다양한 비즈니스에서 Discover는 서비스를 빨리 출시할 수 있어야 한다는 과제를 해결해야 했습니다. Discover의 AI/ML AI/ML Expert Platform Engineer, Rahul Gupta는 “고객에게 더 빠르게 대응할 수 있도록 의사 결정을 더 빠르게 내리고 인사이트를 얻고 싶었습니다.”라고 말합니다.

이 은행은 생성형 AI와 ML을 사용하여 데이터를 분석하고 인사이트를 생성하고자 했습니다. 또한 대규모 언어 모델을 더 빠르게 학습시키고 컴퓨팅 파워를 최적으로 사용하여 출시 소요 시간을 단축할 방법을 찾고 있었습니다. 디스커버는 거의 모든 워크로드에 안전하고 크기 조정이 가능한 컴퓨팅 파워를 제공하는 Amazon Elastic Compute Cloud (Amazon EC2) 에서 데이터 과학 솔루션을 실행하기로 결정했습니다.

Amazon EC2는 AI 혁신을 가속화하는 데 도움이 되는 AWS AI 인프라의 일부입니다. 기업과 개발자는 포괄적이고 안전하며 가격 대비 성능이 뛰어난 인프라를 사용하여 컴퓨팅, 네트워킹 및 스토리지 전반에서 광범위하고 심층적인 AI 및 ML 기능 세트를 갖춘 AI 애플리케이션을 구축할 수 있습니다.

Discover는 데이터 과학자가 AI/ML 애플리케이션을 실행 또는 처리하고, 최대 6TB의 메모리가 필요한 대규모 샘플 크기의 모델을 학습시키고, 코어 GPU를 사용하여 고성능 컴퓨팅(HPC)을 클라우드에서 제공하는 데 사용할 수 있는 Amazon EC2의 분석 워크벤치와 통합 데이터 과학 워크벤치를 구축했습니다. Gupta는 “우리는 과학자들에게 온디맨드 HPC 확장을 통해 클라우드 규모의 데이터 웨어하우스를 제공했고 분석 혁신을 가속화했습니다.”라고 말합니다.

Discover는 Amazon EC2 P3 인스턴스를 사용하여 다중 GPU 설정이 필요한 작업을 위해 강력한 GPU로 ML 및 HPC 애플리케이션을 가속화합니다. 또한 Amazon EC2 P4 인스턴스를 사용하여 클라우드의 ML 및 HPC 애플리케이션을 위한 고성능을 제공합니다. 팀은 아키텍처를 최적화하고 분석 속도를 높이고 인사이트를 더 빠르게 제공하는 데 도움이 되는 모범 사례를 구현하는 데 상당한 시간을 할애했습니다. “인프라, 특히 컴퓨팅의 런타임을 최적화하고 싶었습니다.”라고 Discover의 Will Hinton(Director of Data and AI Platforms Engineering)은 말합니다.

예를 들어, 팀은 다양한 모델과 코드를 사용하여 벤치마크 테스트를 실행하여 고객 서비스 상담원과 고객 간의 녹음된 상호 작용이 기록된 20,000행의 데이터를 처리하는 속도를 평가했습니다. 16개의 CPU를 사용하여 처리하는 데는 6.5~7시간이 걸렸지만 단일 GPU 설정에는 23분이 걸렸습니다. 여러 GPU를 사용하면 처리 시간이 4분으로 줄어들었지만 비용도 증가했습니다. 이를 통해 Discover 팀은 사용 사례 요구 사항 및 비용을 기반으로 다양한 GPU 설정을 선택할 수 있었습니다.

Amazon Simple Storage Service(Amazon S3, 어디서나 원하는 양의 데이터를 검색할 수 있도록 구축된 객체 스토리지)를 사용하여 모델 아티팩트를 저장합니다. 디스커버는 이러한 아티팩트와 데이터를 다양한 엔지니어링 팀 및 사업부와 공유하기 위해 완전 탄력적인 서버리스 스토리지를 제공하는 Amazon Elastic File System (Amazon EFS) 을 사용합니다. 이 솔루션은 Discover의 관찰성 도구, 데이터 웨어하우스 및 소스 코드 리포지토리에 연결됩니다.

이 솔루션은 사용하는 것이 간단하며 데이터 과학자가 직접 사용할 수 있도록 설계되었습니다. “데이터 과학자는 솔루션 자동화 도구로 가서 템플릿을 선택하고 요구 사항(다중 GPU, 단일 GPU 또는 메모리 바운드 애플리케이션)에 따라 컴퓨팅 및 Amazon EC2 인스턴스를 선택할 수 있습니다.”라고 Gupta는 말합니다. “선택하고 클릭하기만 하면 완료됩니다.”

이 솔루션을 통해 Discover는 인사이트 확보 시간을 단축할 수 있었습니다. 팀은 기능 임베딩을 사용하여 시장 출시 시간을 몇 시간에서 몇 분으로 단축했습니다. 사용 가능한 높은 컴퓨팅 파워가 병렬 모델 훈련에 사용되어 3천만 개의 레코드 처리 시간을 며칠에서 몇 시간으로 단축했습니다. 예를 들어 고객 서비스 상담원과 상담한 후 고객이 만족했는지 불만족했는지 분석하는 감정 분석의 경우 이 솔루션을 통해 57,000개의 레코드가 포함된 데이터세트의 처리 시간을 몇 시간에서 몇 분으로 단축할 수 있었습니다.

Discover 팀은 사용 사례에 솔루션을 적용하여 자사의 ‘연락 금지’ 모델을 관리했습니다. Discover 담당자가 마케팅 및 유사한 목적으로 연락하는 것을 원하지 않는 고객을 위해 팀은 해당 고객을 분류하는 모델을 만들었습니다. 이 솔루션은 이러한 고객을 거의 실시간으로 분류하고 고객 관리 상담원이 관련 데이터를 이용할 수 있도록 했습니다. 따라서 상담원은 연락하지 말아야 할 고객을 식별할 수 있었고, 이는 고객 만족도를 높이는 데 도움이 되었습니다.

“팀은 위험에 맞추어서 속도를 조정하는 작업을 훌륭하게 해냈습니다”고 Discover의 EVP CIO인 Jason Strle는 말합니다. “휴먼 인 더 루프(Human in the loop) 상황에서 생성형 AI를 활용하면 위험이 줄어들고 전송 속도가 빨라집니다. 생성형 AI 솔루션이 고객과 자율적으로 상호 작용하거나 비즈니스 의사 결정을 내리는 상황과는 다릅니다. 이러한 상황에서는 프로덕션 진입 시 위험 단계가 더 많습니다.”

Discover 팀은 이제 Amazon S3를 사용하여 추가 자동화를 위한 이벤트 기반 활성화를 추가하는 방법을 모색하고자 합니다. 현재는 스케줄러를 사용하여 고객 식별 및 분류와 같은 일상적인 작업을 예약합니다. 또한 Discover는 다른 생성형 AI 사용 사례에 맞도록 컴퓨팅 용도를 변경하기 위해 대기열 메커니즘을 갖춘 이벤트 기반 활성화를 모색하고 있습니다. 이를 통해 생성형 AI 사용 사례의 컴퓨팅 비용을 더욱 절감할 수 있습니다.

“GPU 기반 Amazon EC2 인스턴스를 기반으로 하는 이 솔루션은 위험을 줄이고 고객 경험을 개선하는 데 도움이 됩니다.”라고 Gupta는 말합니다.