Numerix, AWS Batch를 사용하여 가격 및 위험 모델링을 위한 HPC 워크로드 확장

Numerix는 은행, 규제 기관 및 보험 회사를 포함한 250여 개의 글로벌 고객에게 분석 소프트웨어를 제공합니다. 광범위한 수학적 모델은 주가가 폭락했을 때 발생할 수 있는 영향을 시뮬레이션하기 위해 다양한 시장 상태를 대상으로 거래 가격을 책정합니다. 금융 기관은 이 데이터를 바탕으로 수십억 달러 가치의 영향을 미치는 의사 결정을 내립니다. 그러기 위해 사용 가능한 가장 발전된 분석 기술이 필요합니다. 설상가상으로 금융 시장은 COVID-19 팬데믹 초기부터 전례 없는 영역에 놓여 있습니다. 거래 및 위험 관리 정보는 불안정한 이 시기에 특히 중요합니다. Jockle은 “20,000건의 거래 포트폴리오를 수행하고 있는 고객을 보유하고 있습니다”라고 말합니다. 그리고 기업들이 취약성으로부터 스스로를 보호하기 위해 위험 분석을 채택함에 따라 이러한 포트폴리오는 점점 더 커지고 있습니다.

이러한 거래 및 분석 거래량 증가로 인한 복잡성은 많은 컴퓨팅 파워를 필요로 하는 엄청난 수학적 과제입니다. Numerix의 최고 기술 책임자인 Bill Humphrey는 이렇게 말합니다. “고객이 온프레미스에서 솔루션을 실행하려면 우리는 '소프트웨어를 설치하고 매일 실행할 때 데이터 센터에 필요한 CPU 코어의 개수가 이 정도입니다. 그리고 포트폴리오가 늘어나고 있기 때문에 내년에는 더 많이 구매해야 할 것입니다’라고 말해야 합니다.” 이러한 시작 비용은 Numerix 도구 채택에 걸림돌이 되었습니다.

“클라우드는 효율성과 가용성을 제공하기 위한 Numerix의 불가피한 여정이었습니다”라고 Jockle은 말합니다. Numerix는 2012년부터 클라우드에서 일부 서비스형 소프트웨어 프로젝트를 착수하기 시작했습니다. 2019년, 엔지니어들이 클라우드에서 안전하고 크기 조정이 가능한 컴퓨팅 파워를 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)를 사용하여 HPC 솔루션을 실행하기 시작하면서 AWS로의 마이그레이션이 가속화되었습니다. Numerix는 2021년부터 AWS Batch를 사용하여 Amazon EC2에 최적의 수량 및 유형의 컴퓨팅 리소스를 동적으로 프로비저닝하기 시작했습니다. 새로운 접근 방식을 통해 분석 성능이 180배 향상되었습니다.

Numerix 경영진은 클라우드 네이티브 오케스트레이터와 서버리스 아키텍처를 채택하는 것이 클라우드의 완전한 탄력성을 활용하는 핵심이라는 데 동의합니다. Numerix는 마이그레이션 초기 단계에서 리프트 앤 시프트 방식을 사용했지만 서버리스 모델로의 전체 마이그레이션은 최종 목표였습니다. Humphrey는 “값비싼 리소스를 항상 사용하지 않기 위해 필요한 것은 바로 서버리스 모델입니다”라고 말합니다. “우리는 이러한 워크로드를 AWS Batch에 제출합니다. AWS Batch는 제출된 작업에 적합한 Amazon EC2 인스턴스를 프로비저닝하여 컴퓨팅 리소스를 오케스트레이션하고 작업을 실행한 다음 작업이 완료되면 인스턴스를 종료하고 실제 사용 시간(초)에 대해서만 요금을 청구합니다.” Numerix는 최신 애플리케이션을 위한 로우코드 시각적 워크플로 서비스인 AWS Step Functions를 사용하여 서버리스 기능을 실행합니다.

더 중요한 것은 Numerix가 AWS에서 동적 리소스 할당을 사용함으로써 까다로운 클라이언트 제약을 보다 효과적으로 충족할 수 있다는 것입니다. Jockle은 “AWS Batch를 사용하여 수만 건의 거래가 있는 포트폴리오에 대해 40분 이하의 서비스 수준 계약을 준수합니다”라고 말합니다. “그건 정말 전례 없는 일입니다.” 엔지니어들은 어디서나 원하는 양의 데이터를 검색할 수 있도록 구축된 클라우드 객체 스토리지인 Amazon Simple Storage Service(Amazon S3)를 사용하여 정보를 스테이징하고 있습니다. AWS의 메모리 및 스토리지 용량이 증가하면서 분석 프로세스 전반에서 병목 현상이 감소했습니다. 이제 Numerix는 더 큰 포트폴리오를 인수할 준비가 훨씬 더 잘 되어 있습니다. Numerix는 확장될 때마다 서버를 구매, 수령 및 설치하기 위해 몇 개월을 기다려야 한다고 고객에게 말하지 않고 며칠 또는 몇 시간 내에 규모 변경에 대응할 수 있도록 도와줄 수 있습니다. Humphrey는 “빠르게 적응할 수 있다는 것만으로도 큰 성과입니다”라고 말합니다.

Numerix의 많은 고객은 클라우드 우선 사고방식으로의 전환을 높이 평가했습니다. “클라우드 모델을 사용할 때 고객은 더 이상 HPC 솔루션을 실행하기 위해 대규모 IT 부서가 필요하지 않습니다”라고 Humphrey는 말합니다. 조직은 확장할 때마다 서버를 추가로 구매하는 대신 몇 시간 만에 클라우드의 규모 변화에 적응할 수 있습니다. Numerix는 또한 Amazon EC2 스팟 인스턴스를 광범위하게 사용하므로 사용자는 Amazon EC2 온디맨드 요금에서 최대 90% 할인된 가격으로 내결함성 워크로드를 실행할 수 있습니다. Amazon EC2 스팟 인스턴스와 서버리스 기술을 사용함으로써 Numerix는 상당한 비용 절감을 경험했습니다.

Numerix는 더 많은 고객을 클라우드로 전환하기를 원하고 있으며 서비스형 소프트웨어 모델을 주요 제품 및 운영 프레임워크로 확장하기 위해 노력하고 있습니다. “AWS는 매우 광범위한 서비스와 기능을 제공합니다”라고 Humphrey는 말합니다. 고객은 최악의 상황에 대비하여 하드웨어를 준비하는 대신 컴퓨팅 성능에 대한 비용을 지불합니다.

이러한 기술 향상은 실제 세계에 영향을 미칩니다. Jockle은 “우리 고객들은 우리의 위험 분석을 사용하여 수십억 달러의 손실을 피하고 있습니다”라고 말합니다. “AWS이 제공하는 사실상 무한한 확장성과 함께 실시간에 가까운 분석을 도입한 것은 완전히 판도를 바꾸어 놓았습니다.”