Autodesk, Amazon EMR을 사용하여 안정적이고 비용 효율적인 빅 데이터 분석 구축

1982년에 설립된 Autodesk는 전 세계 1억 명 이상의 고객이 사용하는 3D 설계, 엔지니어링 및 엔터테인먼트 소프트웨어를 만듭니다. AutoCAD 소프트웨어는 건축가, 엔지니어 및 건설 전문가가 정확한 디지털 도면을 작성하도록 지원합니다. Autodesk는 데이터 기반 기업으로서 분석과 인사이트를 활용하여 고객에게 더 나은 솔루션과 기능을 제공합니다. 하지만 서드 파티 빅 데이터 솔루션으로는 성장 속도를 따라갈 수 없었습니다.

Autodesk의 Senior Engineering Manager인 Nick Wilson은 “이전 솔루션에는 신뢰성 문제가 많았습니다. 데이터는 Autodesk 비즈니스의 기본 단위입니다. 저희에게 필요한 신뢰성을 제공하고 성장 속도에 맞추어 확장할 수 있는 새로운 제공업체가 필요했습니다”라고 말합니다.

Autodesk는 신뢰성과 성능을 높여주는 다양한 솔루션을 평가한 끝에 Amazon EMR로 마이그레이션하기로 결정했습니다. Wilson은 “Autodesk는 다양한 AWS 서비스를 활용하고 있으며, 오랫동안 AWS 서비스를 사용해왔습니다. 또한 AWS는 저희가 지불하는 비용보다 더 많은 서비스를 제공했습니다. 서드 파티 제공업체의 모든 워크로드를 Amazon EMR 및 기타 AWS 서비스로 마이그레이션하기 위한 경로를 찾을 수 있었습니다”라고 말합니다.

Autodesk의 빅 데이터 워크로드를 Amazon EMR로 마이그레이션하는 것은 간단한 작업이 아니었습니다. 이 작업에는 각각 다른 코딩 언어를 사용하고 서로 다른 유형의 쿼리를 실행하던 30개 팀의 워크로드를 마이그레이션하는 작업이 포함되었습니다. 또한 Autodesk의 모든 비즈니스 크리티컬 워크로드가 서드 파티 솔루션에서 실행되었기 때문에 이 프로세스를 진행하는 중에 불필요한 중단을 방지해야 했습니다. 복잡한 마이그레이션을 간소화하기 위해 Autodesk는 결과 중심의 방법론을 통해 클라우드 마이그레이션 및 현대화 여정을 가속화하는 데 도움을 주는 AWS Migration Acceleration Program(AWS MAP)에 참여했습니다. AWS MAP에서는 마이그레이션의 기술적 측면에서 Autodesk를 지원했을 뿐만 아니라, 일부 비용을 상쇄할 수 있는 크레딧도 제공했습니다.

Wilson은 “새로운 서비스로 마이그레이션할 때마다, 컴퓨팅 경험이 쌓이기 전까지는 컴퓨팅이 최적화되지 않을 것입니다. AWS MAP 요금 덕분에 마이그레이션이 수익에 미치는 영향을 최소화하면서 원활하게 전환할 수 있었습니다”라고 말합니다.

Autodesk는 오픈 소스 통합 분석 엔진인 Apache Spark를 Amazon EMR에서 실행하면서 기본 컴퓨팅 엔진으로 사용했습니다. Spark 클러스터는 모든 데이터 처리, 추출, 로드, 변환 파이프라인을 지원합니다. Autodesk는 데이터 로드를 처리하기 위해 확장 가능한 고성능 블록 스토리지 서비스인 Amazon Elastic Block Store(Amazon EBS)를 기반으로 한 볼륨을 Spark 인스턴스에 연결합니다. 이 서비스는 1PB에 달하며 매달 증가하는 Autodesk 데이터를 처리하도록 원활하게 확장됩니다. 대시보드를 구동하고 분석 기능을 제공하기 위해 Autodesk는 Amazon EMR에서 오픈 소스 분산 SQL 쿼리 엔진인 Presto를 실행합니다.

Wilson은 “Amazon EMR 기반 Presto는 개발자 흐름의 핵심적인 요소입니다. 우리 팀이 데이터와 상호 작용하고 데이터를 통해 학습하는 데 도움을 주며, 신제품 개발에 도움이 되는 일반적인 비즈니스 인사이트를 제공합니다”라고 말합니다.

Amazon EMR을 도입함으로써 Autodesk는 빅 데이터 서비스의 신뢰성을 대폭 개선했습니다. Apache Spark와 Presto를 사용하는 워크로드의 경우, 99.8%의 가용성을 달성했으며 심각한 운영 중단이나 서비스 가동 중단이 발생하지 않았습니다. 또한 Autodesk는 문제 해결에 소요되는 시간을 25% 단축했습니다.

개발 팀은 이러한 일관된 신뢰성에 매우 만족했고, 이제 비즈니스의 다른 영역에 리소스를 집중할 수 있게 되었습니다. Wilson은 “예전에는 일요일에 회사에서 오는 메시지를 보고 싶지 않았죠. 서드 파티 솔루션에 문제가 발생해 비즈니스 크리티컬 프로세스가 중단되었다는 내용일 테니까요. 이제는 파이프라인이 안정적으로 운영되고, 클러스터가 정상적으로 실행되며, 서비스 수준에 관한 계약을 충족하게 되었습니다. 지금은 마이그레이션 전보다 Amazon EMR에서 훨씬 더 안정적으로 시스템을 실행할 수 있게 되었습니다”라고 말합니다.

그림 1. 작업 제출 및 마이그레이션