Nasdaq, AWS를 사용하여 클라우드 내 증권 거래소 데이터 스토리지 개척

Nasdaq은 Nasdaq 증권 거래소를 소유하고 운영하는 다국적 금융 서비스 및 기술 기업으로, 북미와 유럽에서 다양한 자산 계층에 걸쳐 총 27개 시장, 중앙 증권 예탁원, 어음 교환소를 운영하고 있습니다. 전 세계 시장에 걸쳐 약 4,000개의 상장 회사가 등록되어 있으며 50개국에 위치한 다른 시장 인프라 사업자에게 미션 크리티컬 기술을 제공하고 있습니다.

Nasdaq 증권 거래소는 거래량 기준으로 전 세계 최대 규모의 주식 프랜차이즈로, 전자적으로 입력된 거래에 대한 주식 가격 견적 데이터를 제공하면서 많은 구매자와 판매자를 빠른 속도로 연결하여 관리합니다. Nasdaq은 내부 애플리케이션에 의존하여 보호된 모든 교환 데이터를 캡처하고 저장합니다. Nasdaq의 소프트웨어 엔지니어링 부문 부사장인 Robert Hunt는 “이 데이터에는 주문, 견적, 거래 및 취소가 포함된다”고 말합니다. 매일 밤, Nasdaq은 다음날 아침 시장이 열리기 전까지 청구 및 보고 프로세스를 위해 로드해야 하는 수십억 개의 레코드를 수신합니다.

자동화된 거래 플랫폼이 시장에 도입됨에 따라 거래 속도와 거래량이 증가했습니다. 2014년, 규모와 성능을 높이고 운영 비용을 절감하기 위해, Nasdaq은 기존 온프레미스 데이터 웨어하우스에서 Amazon Redshift 클러스터로 구동되는 Amazon Web Services(AWS) 데이터 웨어하우스로 이전했습니다. 2014년과 2018년 사이에 회사가 모든 북미 시장을 지원하기 위해 솔루션을 확장하면서 Amazon Redshift 클러스터는 70개의 노드로 성장했습니다. 2018년까지 이 솔루션은 매일 밤 수천 개의 소스에서 300억~550억 개 레코드에 이르는 4테라바이트 이상의 금융 시장 데이터를 수집했습니다.

시간이 지남에 따라 데이터가 증가했고 이로 인해 분석할 데이터를 관리하는 방식이 변경되었습니다. 하룻밤 동안 웨어하우스에 대해 배치 처리를 실행해야 했기 때문에 엄청난 양을 처리하며 엄격한 기한을 맞추는 데 어려움이 있었습니다. 사용자는 데이터를 활용하여 청구, 보고 및 감시를 완료합니다. Hunt는 “2018년 초 시장 변동성이 커졌을 때 웨어하우스의 데이터 볼륨이 크게 증가하여 2018년에는 하루 약 550억 개의 레코드까지 성장했다”고 말합니다.

보다 정교한 거래 관행은 데이터의 엄청난 증가로 이어졌으며, Nasdaq에서는 에코시스템이 기대하는 성능 표준과 운영 효율성을 지속적으로 달성하기 위해 새로운 아키텍처를 개발하려는 계획을 세우는 것이 매우 중요했습니다. Hunt는 “우리는 시장이 마감된 후 다음날 아침까지 300억 개의 레코드를 로드하고 사용해야 한다. 데이터 로딩으로 인해 보고서 전달이 지연되곤 했다”며, “데이터 읽기 및 쿼리를 방해하지 않으면서 데이터를 매우 신속하게 데이터 스토리지 솔루션에 쓰거나 로드할 수 있어야 했다”고 말합니다.

2018년 Nasdaq은 Amazon Simple Storage Service(Amazon S3)를 기반으로 새로운 데이터 레이크를 구축하기로 결정했습니다. 이를 통해 컴퓨팅과 스토리지를 분리하고 각 기능을 독립적으로 확장할 수 있게 되었습니다. 기존 데이터 웨어하우스 배포에서 스토리지 용량을 확장하려면 회사가 컴퓨팅 용량을 동시에 확장해야 하는 경우가 종종 있었습니다. 이는 애플리케이션과 스토리지가 긴밀하게 연결되어 있어 이 둘의 비율을 변경하려면 현장에서 하드웨어를 수정해야 했기 때문입니다. Hunt는 “Amazon S3는 컴퓨팅과 스토리지를 분리하는 유연성뿐만 아니라 대규모 데이터 집합의 동시 쓰기 및 읽기 측면에서도 확장성이 더 우수하다”면서 “Amazon S3는 데이터 로드와 쿼리 프로세스 간에 경합이 전혀 발생하지 않는 솔루션을 제공했다”고 말합니다.

성능 중심 솔루션으로 시작했지만 팀 간에 공유되는 다용도 데이터 레이크가 되어 비즈니스에 추가적인 이점을 제공합니다.