Nasdaq, AWS를 사용하여 클라우드 내 증권 거래소 데이터 스토리지 개척

2020년

Nasdaq은 Nasdaq 증권 거래소를 소유하고 운영하는 다국적 금융 서비스 및 기술 기업으로, 북미와 유럽에서 다양한 자산 계층에 걸쳐 총 27개 시장, 중앙 증권 예탁원, 어음 교환소를 운영하고 있습니다. 전 세계 시장에 걸쳐 약 4,000개의 상장 회사가 등록되어 있으며 50개국에 위치한 다른 시장 인프라 사업자에게 미션 크리티컬 기술을 제공하고 있습니다.

Nasdaq 증권 거래소는 거래량 기준으로 전 세계 최대 규모의 주식 프랜차이즈로, 전자적으로 입력된 거래에 대한 주식 가격 견적 데이터를 제공하면서 많은 구매자와 판매자를 빠른 속도로 연결하여 관리합니다. Nasdaq은 내부 애플리케이션에 의존하여 보호된 모든 교환 데이터를 캡처하고 저장합니다. Nasdaq의 소프트웨어 엔지니어링 부문 부사장인 Robert Hunt는 “이 데이터에는 주문, 견적, 거래 및 취소가 포함된다”고 말합니다. 매일 밤, Nasdaq은 다음날 아침 시장이 열리기 전까지 청구 및 보고 프로세스를 위해 로드해야 하는 수십억 개의 레코드를 수신합니다.

자동화된 거래 플랫폼이 시장에 도입됨에 따라 거래 속도와 거래량이 증가했습니다. 2014년, 규모와 성능을 높이고 운영 비용을 절감하기 위해, Nasdaq은 기존 온프레미스 데이터 웨어하우스에서 Amazon Redshift 클러스터로 구동되는 Amazon Web Services(AWS) 데이터 웨어하우스로 이전했습니다. 2014년과 2018년 사이에 회사가 모든 북미 시장을 지원하기 위해 솔루션을 확장하면서 Amazon Redshift 클러스터는 70개의 노드로 성장했습니다. 2018년까지 이 솔루션은 매일 밤 수천 개의 소스에서 300억~550억 개 레코드에 이르는 4테라바이트 이상의 금융 시장 데이터를 수집했습니다.

시간이 지남에 따라 데이터가 증가했고 이로 인해 분석할 데이터를 관리하는 방식이 변경되었습니다. 하룻밤 동안 웨어하우스에 대해 배치 처리를 실행해야 했기 때문에 엄청난 양을 처리하며 엄격한 기한을 맞추는 데 어려움이 있었습니다. 사용자는 데이터를 활용하여 청구, 보고 및 감시를 완료합니다. Hunt는 “2018년 초 시장 변동성이 커졌을 때 웨어하우스의 데이터 볼륨이 크게 증가하여 2018년에는 하루 약 550억 개의 레코드까지 성장했다”고 말합니다.

보다 정교한 거래 관행은 데이터의 엄청난 증가로 이어졌으며, Nasdaq에서는 에코시스템이 기대하는 성능 표준과 운영 효율성을 지속적으로 달성하기 위해 새로운 아키텍처를 개발하려는 계획을 세우는 것이 매우 중요했습니다. Hunt는 “우리는 시장이 마감된 후 다음날 아침까지 300억 개의 레코드를 로드하고 사용해야 한다. 데이터 로딩으로 인해 보고서 전달이 지연되곤 했다”며, “데이터 읽기 및 쿼리를 방해하지 않으면서 데이터를 매우 신속하게 데이터 스토리지 솔루션에 쓰거나 로드할 수 있어야 했다”고 말합니다.

Nasdaq, 증가하는 데이터 웨어하우스를 더욱 현대적인 데이터 레이크 아키텍처로 마이그레이션(2:25)
kr_quotemark

Amazon S3와 Amazon Redshift의 유연성과 확장성 덕분에 하루 300억 개의 레코드에서 700억 개의 레코드로 급증하는 것을 쉽게 지원할 수 있었습니다.”

Robert Hunt
Nasdaq 소프트웨어 엔지니어링 부사장

유연성, 확장성 및 성능을 위해 AWS 서비스 사용

2018년 Nasdaq은 Amazon Simple Storage Service(Amazon S3)를 기반으로 새로운 데이터 레이크를 구축하기로 결정했습니다. 이를 통해 컴퓨팅과 스토리지를 분리하고 각 기능을 독립적으로 확장할 수 있게 되었습니다. 기존 데이터 웨어하우스 배포에서 스토리지 용량을 확장하려면 회사가 컴퓨팅 용량을 동시에 확장해야 하는 경우가 종종 있었습니다. 이는 애플리케이션과 스토리지가 긴밀하게 연결되어 있어 이 둘의 비율을 변경하려면 현장에서 하드웨어를 수정해야 했기 때문입니다. Hunt는 “Amazon S3는 컴퓨팅과 스토리지를 분리하는 유연성뿐만 아니라 대규모 데이터 집합의 동시 쓰기 및 읽기 측면에서도 확장성이 더 우수하다”면서 “Amazon S3는 데이터 로드와 쿼리 프로세스 간에 경합이 전혀 발생하지 않는 솔루션을 제공했다”고 말합니다.

Amazon S3는 AWS Identity and Access Management(IAM) 정책을 통합하여 여러 AWS 계정에 대한 포괄적인 액세스 제어 기능도 제공합니다. 또한 Nasdaq은 Amazon S3를 사용하여 중요한 금융 데이터를 저장하고 이를 Amazon S3 Glacier로 이전하여 더 저렴한 비용으로 보관할 수 있습니다. 이 회사는 Amazon S3 Object Lock 기능을 사용하여 규정 준수를 더욱 강화합니다.
 
2019년 1월, Nasdaq은 AWS Data Lab에 참가했습니다. 여기서 Nasdaq은 권장 아키텍처 가이드를 제공한 AWS 솔루션스 아키텍트 및 분석 서비스 전문가와 협력하여 Nasdaq이 어떻게 데이터 웨어하우징을 구현했는지 되짚어 보았습니다. Nasdaq은 4일 간 진행된 연구에서 Amazon Redshift를 컴퓨팅 계층으로 사용하여 분석 기능을 제공하는 방법을 새롭게 구축했습니다. 그 결과 Nasdaq은 데이터 웨어하우스와 Amazon S3 데이터 레이크 모두에서 데이터를 쿼리할 수 있도록 레이크 하우스 아키텍처를 강화하는 기능인 Amazon Redshift Spectrum을 사용하기 시작했습니다. Hunt는 “내부적으로 운영되는 거래소에서 가져온 모든 데이터를 Amazon S3와 Amazon Redshift Spectrum에 저장하고 있다”라며, “여기에는 주문, 취소, 견적, 거래 등이 포함된다. 이러한 데이터는 메시지로 변환되어 Amazon S3에 보관되며, 우리의 다운스트림 청구 및 보고 감시 프로세스를 이끌고 있다”고 말합니다.
 
새로운 데이터 레이크에는 Amazon S3의 15테라바이트 데이터가 포함되며, Nasdaq은 Amazon S3에 데이터를 쓴 직후에 데이터를 로드하지 않고도 즉시 쿼리할 수 있습니다. 이를 통해 인사이트를 얻는 시간이 최소화되고 Nasdaq 경제 연구 팀이 데이터 분석을 수행하고 데이터에 대해 복잡한 쿼리를 실행할 수 있습니다. 또한 회사의 감시 사업 팀은 미국 증권 거래 위원회(SEC)의 요청이 있는 경우 데이터 레이크를 쿼리합니다.

성능 중심 솔루션으로 시작했지만 팀 간에 공유되는 다용도 데이터 레이크가 되어 비즈니스에 추가적인 이점을 제공합니다.

하루에 700억 개의 레코드를 지원하도록 확장

Nasdaq은 컴퓨팅 및 스토리지를 독립적으로 확장함으로써 이제 트랜잭션 볼륨을 지원하도록 컴퓨팅 계층을 유연하게 확장할 수 있으며, Amazon S3 스토리지에 구축된 데이터 레이크를 통해 볼륨과 복잡성이 지속적으로 증가하는 데이터를 쉽게 지원할 수 있습니다. 일례로 코로나19 팬데믹이 시작된 2020년 2월 말 시장 변동성이 급증했는데, 이 솔루션은 매일 700억 개의 레코드(최대 1,130억 개) 수집을 지원하도록 확장되었습니다.
 
Hunt는 “Amazon S3과 Amazon Redshift의 유연성과 확장성 덕분에 하루 300억 개의 레코드에서 700억 개의 레코드로 급증하는 것을 쉽게 지원할 수 있었다”면서 “우리는 급증하는 데이터 볼륨에 대처하고 시장에 대한 의무를 지원하는 데 필요한 청구, 보고 및 감시 프로세스를 제공했다”고 말합니다. Nasdaq은 또한 시장이 다시 조정될 때 유휴 용량이 없도록 환경을 쉽고 빠르게 축소할 수 있습니다.

보고를 위한 시장 데이터 로드 시간을 5시간 단축

Nasdaq은 Amazon S3와 Amazon Redshift를 기반으로 한 새로운 레이크 하우스 아키텍처를 사용하여 이전보다 5시간 빨리 데이터 로드 완료율 90%대에 도달하고 있습니다. 또한 데이터 웨어하우스를 최적화함으로써 Amazon Redshift 쿼리를 32% 더 빠르게 실행할 수 있었습니다. Hunt는 “이러한 개선을 통해 청구 및 보고 프로세스를 가속화할 수 있었다”라며, “예를 들어, 시장 마감 후 1~2시간 이내에 데이터 수집이 완료되어 청구 및 보고 시간을 앞당길 수 있다. 이는 최근 경험한 데이터 볼륨 급증을 처리할 때 큰 도움이 되며, 내부 고객의 기한을 맞추거나 초과하도록 도와준다”고 말합니다.
 
시간이 지남에 따라 Amazon S3와 Amazon Redshift 데이터 레이크는 Nasdaq 혁신의 원동력이 되었습니다. Hunt는 “우리는 AWS에 의존하여 클라우드 전문성을 제공하면서 Nasdaq을 혁신하기 위해 업계의 전문 지식에 자유롭게 집중할 수 있다”면서 “앞으로도 시장의 요구에 따라 새로운 AWS 서비스와 기술을 계속 활용할 것”이라고 말합니다.

Nasdaq 소개

1971년 설립되어 뉴욕에 본사를 둔 Nasdaq은 Nasdaq 주식 시장과 8개의 유럽 증권 거래소를 소유하고 운영하는 다국적 금융 서비스 기업입니다. 이 회사에는 50개국에 위치한 약 4,000개의 상장 회사가 등록되어 있습니다.

AWS의 이점

  • 매일 700억 개의 레코드 수집
  • 금융 시장 데이터를 5시간 더 빠르게 로드
  • Amazon Redshift 쿼리를 32% 더 빠르게 실행
  • 공유 데이터로 비즈니스 전환을 지원
  • 혁신의 원동력을 얻을 수 있는 추가 사용 사례


사용된 AWS 서비스

Amazon Simple Storage Service

Amazon Simple Storage Service(Amazon S3)는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스입니다.

자세히 알아보기 »

Amazon Redshift

Amazon Redshift는 데이터 레이크 스토리지의 무제한 확장성 및 유연성을 갖춘 최고의 고성능 데이터 웨어하우스를 제공합니다.

자세히 알아보기 »

AWS Identity and Access Management

AWS Identity and Access Management(IAM)를 사용하면 AWS 서비스와 리소스에 대한 액세스를 안전하게 관리할 수 있습니다.

자세히 알아보기 »

Amazon S3 Glacier

Amazon S3 Glacier 및 S3 Glacier Deep Archive는 데이터 아카이빙 및 장기 백업을 위한 안전하고 내구성이 뛰어나고 매우 저렴한 Amazon S3 클라우드 스토리지 클래스입니다.

자세히 알아보기 »

더 많은 Nasdaq 사례

항목을 찾을 수 없음 

1

시작하기

모든 산업에서 다양한 규모의 조직이 AWS를 통해 매일 비즈니스를 혁신하고 임무를 수행하고 있습니다. 지금 전문가와 상담하고 AWS로의 여정을 시작하세요.