BMW Group, AWS 기반 데이터 레이크를 사용하여 데이터의 잠재력 분출

지난 몇 년 동안 BMW Group은 데이터와 예측 분석을 사용하여 자동차 산업의 디지털 트랜스포메이션을 주도하기 위해 노력해 왔습니다. BMW Group 데이터 트랜스포메이션, 인공 지능, 데이터 및 DevOps 플랫폼 부사장인 Kai Demtröder는 “우리는 혁신을 유지하기 위해 새로운 디지털 및 커넥티드 경험을 창출하고 데이터 중심 의사 결정을 가능하게 함으로써 효율성과 효과를 모두 높이는 가치 사슬의 변화를 견인하는 데 주력하고 있다”고 밝혔습니다. 이러한 혁신을 창출하기 위해 BMW Group은 2015년 차량, 운영 체제 및 데이터 웨어하우스의 센서로부터 익명 데이터를 수집 및 결합하여 과거, 실시간 및 예측 인사이트를 도출하는 중앙 집중식 온프레미스 데이터 레이크를 개발했습니다.

그러나 이 회사는 내부 및 외부 이해 관계자의 증가하는 수요를 지원하기 위해 데이터 범위를 보다 쉽게 확장할 필요가 있었습니다. 데이터가 수많은 사일로 환경에 분산되어 있어 쉽게 액세스할 수 없었기 때문에, BMW Group의 혁신은 자체 IT 인프라와 새로운 이니셔티브를 지원하는 데 필요한 시간이 지연되어 속도가 느려졌습니다. BMW Group은 다양한 내부 사업부의 데이터 요구 사항을 모두 지원하고 고객이 요구하는 다양한 사용 사례를 신속하게 처리할 수 있는 민첩한 솔루션을 개발해야 했습니다.

또한 BMW Group은 데이터 소비자에게 속도, 위치, 온도, 배터리 및 브레이크 수준, 엔진 상태 등과 같은 원격 측정에 대한 실시간 액세스를 제공하고자 했습니다. 더불어 분석 및 기계 학습을 데이터 레이크에 통합하여 새롭고 혁신적인 서비스 개발을 가속화하고자 했습니다. 그리고 기본적인 전제 조건으로서 이 솔루션은 개인 정보 보호 및 보안 규정을 준수하는 데 필요한 거버넌스를 제공해야 합니다.

BMW Group은 이러한 문제에 대응하기 위해 온프레미스 데이터 레이크를 다시 설계하고 Amazon Web Services(AWS) 클라우드로 이전하기로 결정했습니다. 회사의 Cloud Data Hub (CDH) 는 차량 센서 및 기타 소스의 익명화된 데이터를 처리하고 결합하여 고객 대면 및 내부 애플리케이션을 개발하는 내부 팀이 쉽게 액세스할 수 있도록 합니다. 궁극적으로 이 회사는 AWS가 전 세계 사용자를 지원하는 데 필요한 공간과 필요한 민첩성과 유연성을 제공한다는 사실을 알게 되었습니다.

마이그레이션 전에 BMW Group의 경직된 온프레미스 데이터 레이크로는 데이터 엔지니어 및 분석가의 증가하는 요구 사항을 충족할 수 없었습니다. 기존 데이터 레이크는 상호 의존적인 워크플로를 실행하여 여러 테넌트를 잘 처리할 수 없었기 때문에, BMW Group의 플랫폼, 수집 및 사용 사례 팀은 프로젝트를 진행하기 위해 복잡한 조정이 필요했고 조직의 병목 현상이 발생하여 속도가 느려졌습니다.

BMW 그룹은 구성 요소를 차별화하여 설정의 복잡성을 줄이고 데이터 엔지니어의 요구에 맞게 확장할 수 있는 환경을 만들기 위해 Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose 및 AWS Glue를 비롯한 다양한 AWS 관리 서비스를 선택했습니다. 또한 이제 팀은 처음부터 끝까지 자체 DevOps 프로세스를 통해 지속적인 혁신에 필요한 자율성과 민첩성을 확보할 수 있게 되었습니다. 뿐만 아니라 고급 검색 알고리즘을 사용하여 CDH 사용자가 신뢰할 수 있는 데이터 세트를 검색하고 데이터를 쉽게 쿼리하여 새로운 인사이트를 생성할 수 있도록 지원하는 최신 웹 포털을 구현했습니다.

BMW Group은 AWS 서비스를 사용하여 매일 방대한 양의 데이터를 수집합니다. 현재 수백만 대의 BMW와 MINI 차량이 BMW Group의 매우 안전한 백엔드를 통해 CDH에 연결되어 있으며, 매일 테라바이트 규모의 익명 원격 측정 데이터를 처리합니다. 회사는 이 데이터를 사용하여 제어 오류 점검과 같은 차량 상태 표시기를 모니터링함으로써 차량 라인 전반에 걸쳐 잠재적인 문제를 식별합니다. 이를 통해 BMW Group은 CDH에서 수집 및 정제된 차량 데이터를 활용하여 고객에게 영향을 미치기 전에 문제를 보다 효과적으로 해결할 수 있습니다.

BMW Group은 이 데이터를 더 효율적으로 관리할 수 있도록 소프트웨어 엔지니어링 팀의 자율성과 민첩성을 높이기 위해 ‘데이터 공급자’와 ‘데이터 소비자’라는 개념을 도입했습니다. 데이터 공급자는 아마존 키네시스 데이터 파이어호스, AWS 람다, AWS Glue, Amazon EMR과 같은 AWS 서비스를 사용하여 데이터를 수집하고 변환합니다. 그러면 데이터 소비자는 Amazon Athena, Amazon SageMaker, AWS Glue 및 Amazon EMR과 같은 서비스를 사용하여 사용 사례에 맞게 데이터를 활용할 수 있습니다. 공급자와 소비자 모두 자신의 계정에서 이러한 서비스를 사용하고 중앙 API로 제어할 수 있는 잘 정의된 인터페이스만 공유하여 병목 현상을 방지합니다. 개별 데이터 계층은 Amazon S3 버킷에 저장되며 해당 스키마는 AWS Glue 데이터 카탈로그에 등록됩니다.

BMW Group은 AWS Glue 데이터 카탈로그에서 기술 메타데이터를 수집하는 것 외에도 사람이 읽을 수 있는 데이터 카탈로그를 구축하는 것이 전체 데이터 조직의 대중화에 필수적이라는 사실을 깨달았습니다. 이러한 노력을 통해 CDH에서 수집되는 데이터 자산 및 방법에 대한 높은 수준의 투명성을 확보할 수 있습니다. 프런트 엔드 애플리케이션인 Data Portal은 데이터 리소스를 명확하게 표시하고 조직 전체의 500명 이상의 사용자에게 데이터 사용 패턴을 기반으로 한 “인기 지수”를 제공하여 데이터 분석가, 데이터 과학자 및 엔지니어의 생산성을 높이는 데이터 탐색기 역할을 합니다.

또한 CDH는 AWS AppSync를 통해 GraphQL을 활용하여 데이터 공급자와 소비자 모두를 위한 확장 가능한 범용 API를 구축하여 개발 유연성을 높입니다. 기존의 REST API와는 달리 GraphQL에 구축된 인터페이스는 데이터 카탈로그에 대한 메타데이터를 나타내거나 연결된 차량에서 수집된 이기종 데이터를 제공하는 것과 같은 진화적 요구 사항을 지원하는 데 적합합니다. 개발자는 주어진 사용 사례에 필요한 데이터를 가져오기 위해 페이로드 구조와 쿼리 파라미터를 유연하게 정의할 수 있습니다. 따라서 더 이상 서로 다른 데이터 요구 사항 세트를 사용하여 각 프로젝트에 대해 새로운 API 세트를 생성할 필요가 없기 때문에 이전보다 훨씬 빠르게 애플리케이션을 구축할 수 있습니다.

중앙 집중식 및 AWS 기반 데이터 레이크는 데이터 중심 IT 솔루션을 개발하기 위한 BMW Group의 기반을 형성하며, 회사가 서버리스 아키텍처에서 자동으로 독립적으로 확장할 수 있도록 지원합니다. 따라서 새로운 이니셔티브마다 인프라 관리 및 용량 계획이 필요했던 이전 온프레미스 솔루션보다 더 빠르게 혁신할 수 있습니다.

BMW Group은 API, 아키텍처, Data Portal을 포함하여 CDH를 둘러싼 소스 키 구성 요소를 공개할 예정입니다. 이는 BMW Group이 유럽 주권 데이터 공간 구축을 위한 유럽 이니셔티브인 Gaia-X의 초기 멤버라는 점에서 더욱 힘을 얻고 있습니다.

앞으로 BMW Group은 CDH 플랫폼의 기능을 지속적으로 스케일 아웃하여 디지털 트랜스포메이션을 더욱 가속화하고 비즈니스 전반에서 부가가치를 창출하여 혁신적인 고객 경험, 새로운 모빌리티 서비스 및 내부 비즈니스 인사이트를 강화할 것입니다. Demtröder는 “이제 막 AWS를 통해 여정을 시작하고 있으며, 미래로의 혁신을 추진하는 비즈니스 전략을 실현하는 데 도움이 되기를 기대한다”며 인터뷰를 마쳤습니다.

자세히 알아보려면 aws.amazon.com/Automotive를 방문하십시오.