NerdWallet, AWS 기반 기계 학습을 사용하여 추천 플랫폼 지원

NerdWallet은 고객이 부채를 상환하고, 최적의 금융 상품과 서비스를 선택하고, 주택 구입이나 은퇴 자금 확보와 같은 인생의 중요한 목표를 실현하는 데 도움이 되는 도구와 자문을 제공하는 개인 금융 스타트업입니다. 이 회사는 고객과 개인별로 맞춤화된 금융 상품을 연결하기 위해 데이터 과학 및 기계 학습을 광범위하게 활용합니다. NerdWallet의 수석 엔지니어링 관리자인 Ryan Kirkman은 “저희는 데이터 사이언스가 보다 개인적인 제품과 사용자 경험을 구축하는 데 필수라는 사실을 일찍이 깨달았습니다.”라고 말합니다.

회사의 엔지니어링 팀이 첫 번째 ML 모델을 프로덕션에 배포하기 시작하면서 Kirkman과 그의 팀은 프로세스가 예상보다 훨씬 오래 걸린다는 사실을 발견했습니다. 그는 "시제품에서 생산까지 몇 달이 걸리고 그 과정에서 많은 비효율적인 부분이 있었습니다."라고 말합니다.

당시 NerdWallet 데이터 사이언티스트는 ML 라이브러리 관리에 대부분 수동 접근 방식을 사용했습니다. 이는 비용 또는 워크플로 면에서 최상의 방법은 아니었습니다. NerdWallet의 소프트웨어 엔지니어인 Sharadh Krishnamurthy는 “저희 데이터 사이언티스트가 필요한 것들을 직접 설치하고 마지막 데이터 사이언티스트가 기계에 남겨둔 환경을 처리해야 했습니다.

회사는 데이터 사이언티스트가 ML 모델을 보다 효과적으로 훈련하고 개념에서 제공까지의 프로세스 속도를 높이고 고부가가치 프로젝트에 더 집중할 수 있게 엔지니어링 문제를 해결해야 했습니다. Kirkman은 "모델을 프로덕션에 더 빨리 배포할수록 데이터 사이언스 팀이 해당 모델을 더 빠르게 반복할 수 있으며 제품 경험을 더 잘 만들 수 있습니다."라고 말합니다. “피드백 루프를 줄이면 데이터 사이언스 프로젝트를 실행하는 능력이 크게 향상됩니다.”

스타트업으로서 NerdWallet은 이미 개발된 플랫폼을 처음부터 다시 개발하는 데 필요한 리소스가 없었습니다. “스타트업의 핵심 질문은 '비즈니스 가치를 가장 빠르게 더하려면 어떻게 해야 할까?'입니다. 저희는 몇몇 대기업과 같은 기계 학습 플랫폼을 원했지만 그 플랫폼에 많은 투자를 할 수 있는 위치에 있지 않았습니다. "라고 Krishnamurthy는 말합니다.

NerdWallet은 이미 Amazon Elastic Compute Cloud(Amazon EC2)와 Amazon Elastic Container Service(Amazon ECS)를 비롯한 여러 Amazon Web Services(AWS) 솔루션을 사용하고 있었습니다. 팀은 여기에 Amazon SageMaker를 더하기로 결정했습니다. 이 완전관리형 서비스를 통해 회사는 NVIDIA V100 Tensor Core GPU를 사용하는 Amazon EC2 P3 인스턴스와 기존 Amazon ECS 이미지 구축 파이프라인을 포함한 기본 Amazon EC2 인스턴스를 활용하여 ML 모델을 훈련하는 데 걸리는 시간을 줄일 수 있습니다. Kirkman은 “Amazon SageMaker는 기본적으로 기계 학습을 서비스로 제공했습니다.”라고 말합니다.

Amazon SageMaker를 채택함으로써 NerdWallet은 데이터 사이언스 엔지니어링 방식을 빠르게 현대화할 수 있었습니다. “저희는 2개월 만에 비즈니스 가치를 실현했습니다.”라고 Kirkman은 말합니다. “Amazon SageMaker가 없었다면 불가능했을 것입니다.”

또한 새로운 솔루션은 회사가 장애물을 제거하고 전송 시간을 단축하는 데 도움이 되었습니다. “Amazon SageMaker를 사용하면 데이터 사이언티스트가 핸드오프를 여러 번 수행하고 모든 것을 다시 구현하는 대신 보다 쉽게 작업의 핵심 소유자이자 조정자가 될 수 있습니다."라고 Kirkman은 말합니다. “저희는 플랫폼 및 엔지니어링 관점에서 이러한 주변 인프라 문제 보다 쉽게 해결하는 동시에 데이터 사이언티스트의 작업을 가속화하는 안내 경로를 제공하고 있습니다. 이는 상호 이익이 되는 상황입니다.”

새로운 접근 방식을 활용하는 NerdWallet의 첫 번째 프로젝트는 TensorFlow로 구동되는 추천 플랫폼이었습니다. 이전에 NerdWallet은 고객에게 잠재적인 신용 카드 목록을 제공했지만 수락 가능성을 예측할 방법이 없었습니다. 이제 이 회사는 Amazon SageMaker와 기계 학습을 사용하여 고객에게 적합한 금융 상품을 보다 효과적으로 연결할 수 있습니다.

또한 Amazon SageMaker, Amazon EC2 P3 인스턴스 및 NVIDIA V100 Tensor Core GPU를 사용하여 NerdWallet의 유연성과 성능을 개선하고 데이터 사이언티스트가 기계 학습 모델을 훈련하는 데 소요되는 시간을 단축했습니다. “모델을 출시하고 반복적으로 훈련하는 데 몇 개월이 걸리곤 했는데, 지금은 며칠이면 됩니다.”라고 Kirkman은 말합니다.

Amazon SageMaker를 통해 NerdWallet의 데이터 사이언티스트는 전략적 추구에 더 많은 시간을 할애할 수 있습니다. Kirkman은 "이제 저희는 경쟁력이 있는 곳에 더 많은 에너지를 집중하여 사용자를 위해 해결하는 문제에 대한 인사이트를 얻을 수 있습니다."라고 말합니다.

예를 들어 NerdWallet은 이제 팀이 회사의 다른 영역에서 데이터 사이언티스트가 생성하는 예측에 쉽게 액세스하고 사용할 수 있는 추론 스토리지 시스템을 구축하고 있습니다. "데이터 사이언티스트가 현재 보유하고 있는 훈련을 위한 간소화된 워크플로 없이는 해당 시스템에 대한 비즈니스 사례를 만들 수 없었을 것입니다."라고 Kirkman은 말합니다. “너무 비싸고 위험했을 것입니다. 워크플로를 간소화하고 표준화를 활성화하면 훨씬 더 많은 가치를 얻을 수 있습니다."

Amazon SageMaker는 또한 NerdWallet에서 비용을 관리하는 데 도움이 됩니다. 회사는 지속적인 실행을 위해 인프라 비용을 지불하는 대신 사용량에 따라 지불할 수 있기 때문에 컴퓨팅 리소스가 필요할 때만 비용이 발생합니다. Kirkman은 "훈련된 모델 수를 늘리면서도 훈련 비용을 약 75% 줄일 수 있었습니다."라고 말합니다. “이는 단일 대형 Amazon EC2 인스턴스를 1년 365일 실행하는 모델에서 온디맨드 Amazon SageMaker를 통해 필요한 모든 인스턴스 유형을 실행하는 모델로 바꿨기 때문에 가능했습니다.”

Amazon SageMaker에서 ML 플랫폼을 구축한다는 것은 NerdWallet의 소규모 IT 팀이 산업 발전을 즉시 활용할 수 있음을 의미합니다. Kirkman은 "인프라 및 기술 관점에서 Amazon SageMaker를 사용하면 기계 학습 플랫폼의 노력, 기능 및 기능을 크게 향상시킬 수 있습니다."라고 말합니다. “그리고 AWS와의 협력을 통해 AWS가 제공하는 이점을 효과적으로 이용할 수 있습니다."

기계 학습과 Amazon SageMaker의 사용은 NerdWallet이 기술을 활용하여 혼잡하고 경쟁이 치열한 금융 서비스 시장에서 차별화되는 방식의 변화를 나타냅니다. 앞으로 Kirkman과 그의 팀은 계속해서 기술을 사용하여 부가 가치 서비스를 제공할 계획입니다. "고객이 어떤 종류의 재정적 결정을 내리는 데 도움을 주고 소비자와 조율하는 것이 우리의 주요 차별화 요소입니다."라고 Kirkman은 말합니다. "데이터 사이언스와 기계 학습을 통해 이러한 노력을 지속할 수 있습니다."

자세히 알아보려면 aws.amazon.com/sagemaker를 방문하세요.