Nasdaq, 증가하는 데이터 웨어하우스를 더욱 현대적인 데이터 레이크 아키텍처로 마이그레이션

대부분의 사람들이 Nasdaq을 주식 거래소로 알고 있지만, Nasdaq은 전 세계 50여개국에서 120개 이상의 다양한 거래소, 규제 기관 및 거래 후 기업에 기술과 서비스를 제공하는 업체이기도 합니다. 매일 저녁 Nasdaq은 다음날 아침 주식 시장이 개장하기 전에 청구, 보고 및 기타 프로세스를 위해 로드해야 할 최대 600억 개의 레코드를 받습니다. 시간이 지나면서 레코드 양이 증가함에 따라 Nasdaq은 수집 프로세스를 확장하고 데이터를 보다 병렬적으로 쿼리하기 위해 데이터 레이크 솔루션으로 마이그레이션하기로 결정했습니다. Nasdaq은 전체 수집 프로세스를 Amazon Web Services(AWS)로 이전했고, 데이터를 Amazon Simple Storage Service(S3)에 저장했습니다.

또한 Nasdaq은 기존 데이터 웨어하우스보다 더 빠르게 쿼리를 실행하기 위한 솔루션으로 Amazon Redshift Spectrum을 선택했습니다. Nasdaq의 글로벌 기반 시스템 소프트웨어 엔지니어링 부문 부사장인 Robert Hunt는 "약 40분이 소요되던 과금 프로세스가 현재 4분으로 단축되면서 해당 프로세스에서만 90%의 개선 효과가 나타났습니다. 모든 프로세스를 전반적으로 보면 60~70%의 개선 효과를 보고 있습니다"라고 말합니다. 

아래의 동영상 통해 AWS Data Lab을 활용하여 마이그레이션 목표를 실현하고 있는 Nasdaq의 사례를 자세히 살펴보세요.

re:Invent 2019에서 Nasdaq이 진행한 세션을 시청하고 금융 서비스용 AWS에 대해 자세히 알아보세요.