100_bmw-group-logo

BMW Group, AWS 기반 데이터 레이크를 사용하여 데이터의 강력한 성능 실현

2020년

독일 뮌헨에 본사를 둔 BMW Group은 BMW, BMW Motorrad, MINI, Rolls-Royce 브랜드를 보유한 글로벌 프리미엄 자동차 및 오토바이 제조업체입니다. 또한 프리미엄 금융 및 모빌리티 서비스도 제공합니다.

지난 몇 년 동안 BMW Group은 데이터와 예측 분석을 사용하여 자동차 산업의 디지털 변혁을 주도하기 위해 노력해 왔습니다. BMW Group 데이터 변혁, 인공 지능, 데이터 및 DevOps 플랫폼 부사장인 Kai Demtröder는 “우리는 혁신을 유지하기 위해 새로운 디지털 및 커넥티드 경험을 창출하고 데이터 중심 의사 결정을 가능하게 함으로써 효율성과 효과성을 모두 향상시키는 가치 사슬의 변화를 견인하는 데 주력하고 있습니다."라고 밝혔습니다. 이러한 혁신을 창출하기 위해 BMW Group은 2015년 차량, 운영 체제 및 데이터 웨어하우스의 센서로부터 익명 데이터를 수집 및 결합하여 과거, 실시간 및 예측 인사이트를 도출하는 중앙 집중식 온프레미스 데이터 레이크를 개발했습니다.

그러나 이 회사는 내부 및 외부 이해 관계자의 증가하는 수요를 지원하기 위해 데이터 범위를 보다 쉽게 확장할 필요가 있었습니다. 데이터가 수많은 사일로 환경에 분산되어 있어 쉽게 액세스할 수 없었기 때문에, BMW Group의 혁신은 자체 IT 인프라와 새로운 이니셔티브를 지원하는 데 필요한 시간이 지연되어 속도가 느려졌습니다. BMW Group은 다양한 내부 사업부의 데이터 요구 사항을 모두 지원하고 고객이 요구하는 다양한 사용 사례를 신속하게 처리할 수 있는 민첩한 솔루션을 개발해야 했습니다.

또한 BMW Group은 데이터 소비자에게 속도, 위치, 온도, 배터리 및 브레이크 수준, 엔진 상태 등과 같은 원격 측정에 대한 실시간 액세스를 제공하고자 했습니다. 또한 분석 및 기계 학습을 데이터 레이크에 통합하여 새롭고 혁신적인 서비스 개발을 가속화하고자 했습니다. 그리고 기본적인 전제 조건으로서 이 솔루션은 개인 정보 보호 및 보안 규정을 준수하는 데 필요한 거버넌스를 제공해야 합니다.

BMW iX
kr_quotemark

우리는 이제 막 AWS를 통해 여정을 시작하고 있으며, 미래로의 혁신을 추진하는 비즈니스 전략을 실현하는 데 도움이 되기를 기대합니다."

Kai Demtröder
데이터 변혁, 인공 지능, 데이터 및 DevOps 플랫폼 담당 부사장
BMW Group

데이터 중심 접근 방식 강화

BMW Group은 이러한 문제에 대응하기 위해 온프레미스 데이터 레이크를 다시 설계하고 Amazon Web Services(AWS) 클라우드로 이전하기로 결정했습니다. 이 회사의 Cloud Data Hub(CDH)는 차량 센서 및 기업 전체의 기타 소스에서 가져온 익명 데이터를 처리 및 결합하여 고객 대면 및 내부 애플리케이션을 만드는 내부 팀이 쉽게 액세스할 수 있도록 지원합니다. 궁극적으로 이 회사는 AWS가 전 세계 사용자를 지원하는 데 필요한 공간과 필요한 민첩성과 유연성을 제공한다는 사실을 알게 되었습니다.

마이그레이션 전에는 BMW Group의 엄격한 온프레미스 데이터 레이크가 데이터 엔지니어 및 분석가의 증가하는 요구 사항을 충족시키지 못했습니다.. 기존 데이터 레이크는 상호 의존적인 워크플로를 실행하여 여러 테넌트를 잘 처리할 수 없었기 때문에, BMW Group의 플랫폼, 수집 및 사용 사례 팀은 프로젝트를 진행하기 위해 복잡한 조정이 필요했고 조직의 병목 현상이 발생하여 속도가 느려졌습니다.

BMW Group은 Amazon Athena, Amazon Simple Storage Service(Amazon S3), Amazon Kinesis Data FirehoseAWS Glue 등 다양한 AWS Managed Services로 전환하여 구성 요소를 차별화함으로써 설정의 복잡성을 줄이고 데이터 엔지니어의 요구 사항을 충족할 수 있는 확장 가능한 환경을 만들었습니다. 또한 이제 팀은 처음부터 끝까지 자체 DevOps 프로세스를 통해 지속적인 혁신에 필요한 자율성과 민첩성을 확보할 수 있게 되었습니다. 뿐만 아니라, BMW Group은 고급 검색 알고리즘을 사용하여 CDH 사용자가 신뢰할 수 있는 데이터 집합을 검색하고 데이터를 쉽게 쿼리하여 새로운 인사이트를 생성할 수 있도록 지원하는 최신 웹 포털을 구현했습니다.

대규모 데이터 사용 대중화

BMW Group은 AWS 서비스를 사용하여 매일 방대한 양의 데이터를 수집합니다. 현재 수백만 대의 BMW와 MINI 차량이 BMW Group의 매우 안전한 백엔드를 통해 CDH에 연결되어 있으며, 매일 테라바이트 규모의 익명 원격 측정 데이터를 처리합니다. 회사는 이 데이터를 사용하여 제어 오류 점검과 같은 차량 상태 표시기를 모니터링함으로써 차량 라인 전반에 걸쳐 잠재적인 문제를 식별합니다. 이를 통해 BMW Group은 CDH에서 수집 및 정제된 차량 데이터를 활용하여 고객에게 영향을 미치기 전에 문제를 보다 효과적으로 해결할 수 있습니다.

BMW Group은 이 데이터를 더 효율적으로 관리할 수 있도록 소프트웨어 엔지니어링 팀의 자율성과 민첩성을 높이기 위해 ‘데이터 공급자’와 ‘데이터 소비자’라는 개념을 도입했습니다. 데이터 공급자는 Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue 및 Amazon EMR 등의 AWS 서비스를 사용하여 데이터를 수집하고 변환합니다. 데이터 소비자는 Amazon Athena, Amazon SageMaker, AWS Glue 및 Amazon EMR과 같은 서비스를 사용하여 자신의 사용 사례에 데이터를 활용할 수 있습니다. 공급자와 소비자 모두 자신의 계정에서 이러한 서비스를 사용하고 중앙 API로 제어할 수 있는 잘 정의된 인터페이스만 공유하여 병목 현상을 방지합니다. 개별 데이터 계층은 Amazon S3 버킷에 저장되며 해당 스키마는 AWS Glue 데이터 카탈로그에 등록됩니다.

BMW Group은 AWS Glue 데이터 카탈로그에서 기술 메타데이터를 수집하는 것 외에도 사람이 읽을 수 있는 데이터 카탈로그를 구축하는 것이 전체 데이터 조직의 대중화에 필수적이라는 사실을 깨달았습니다. 이러한 노력을 통해 CDH에서 수집되는 데이터 자산 및 방법에 대한 높은 수준의 투명성을 확보할 수 있습니다. 프런트 엔드 애플리케이션인 Data Portal은 데이터 리소스를 명확하게 표시하고 조직 전체에서 500명 이상의 사용자에게 데이터 사용 패턴을 기반으로 하는 ‘인기 지수’를 제공하여 데이터 분석가, 데이터 사이언티스트 및 엔지니어의 생산성을 높이는 데이터 탐색기 역할을 합니다.

또한 CDH는 AWS AppSync를 통해 GraphQL을 활용하여 데이터 공급자와 소비자 모두를 위한 확장 가능한 범용 API를 구축하여 개발 유연성을 높입니다. 기존의 REST API와는 달리 GraphQL에 구축된 인터페이스는 데이터 카탈로그에 대한 메타데이터를 나타내거나 연결된 차량에서 수집된 이기종 데이터를 제공하는 것과 같은 진화적 요구 사항을 지원하는 데 적합합니다. 개발자는 주어진 사용 사례에 필요한 데이터를 가져오기 위해 페이로드 구조와 쿼리 파라미터를 유연하게 정의할 수 있습니다. 따라서 더 이상 서로 다른 데이터 요구 사항 집합을 사용하여 각 프로젝트에 대해 새로운 API 집합을 생성할 필요가 없기 때문에 이전보다 훨씬 빠르게 애플리케이션을 구축할 수 있습니다.

혁신 가속화

중앙 집중식 및 AWS 기반 데이터 레이크는 데이터 중심 IT 솔루션을 개발하기 위한 BMW Group의 기반을 형성하며, 회사가 서버리스 아키텍처에서 자동으로 독립적으로 확장할 수 있도록 지원합니다. 따라서 새로운 이니셔티브마다 인프라 관리 및 용량 계획이 필요했던 이전 온프레미스 솔루션보다 더 빠르게 혁신할 수 있습니다.

BMW Group은 API, 아키텍처, Data Portal을 포함하여 CDH를 둘러싼 소스 키 구성 요소를 공개할 예정입니다. 이는 BMW Group이 유럽 주권 데이터 공간 구축을 위한 유럽 이니셔티브인 Gaia-X의 초기 멤버라는 점에서 더욱 힘을 얻고 있습니다. 

앞으로 BMW Group은 CDH 플랫폼의 기능을 지속적으로 확장하여 디지털 변혁을 더욱 가속화하고 비즈니스 전반에서 부가가치를 창출하여 혁신적인 고객 경험, 새로운 모빌리티 서비스 및 내부 비즈니스 인사이트를 강화할 것입니다. Demtröder는 “우리는 이제 막 AWS를 통해 여정을 시작하고 있으며, 미래로의 혁신을 추진하는 비즈니스 전략을 실현하는 데 도움이 되기를 기대합니다.”라고 결론을 내립니다.

자세한 내용을 보려면 aws.amazon.com/automotive를 방문하세요.

그림 1: CDH 아키텍처 개요

그림 1: CDH 아키텍처 개요

그림 2: CDH 포털 뷰

그림 2: CDH 포털 뷰

BMW Group 소개

BMW, MINI, Rolls-Royce, BMW Motorrad 등 4개 브랜드를 보유한 BMW Group은 자동차와 오토바이를 생산하는 선도적인 프리미엄 제조업체입니다. 이 회사는 또한 프리미엄 금융 및 모빌리티 서비스도 제공합니다.

AWS의 이점

  • 대규모 데이터 사용 대중화
  • 매일 수백만 대의 차량에서 테라바이트 규모의 원격 측정 데이터 처리
  • 고객에게 영향을 미치기 전에 문제 해결
  • 혁신 가속화

사용된 AWS 서비스

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 레이크, 데이터 스토어 및 분석 서비스에 안정적으로 로드하는 가장 쉬운 방법입니다. 이 서비스는 스트리밍 데이터를 캡처하고 변환하고 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, 일반 HTTP 엔드포인트 및 Datadog, New Relic, MongoDB, Splunk와 같은 서비스 공급자로 전송할 수 있습니다.

자세히 알아보기 »

Amazon SageMaker

Amazon SageMaker는 모든 개발자 및 데이터 사이언티스트가 기계 학습(ML) 모델을 빠르게 구축, 훈련 및 배포할 수 있도록 하는 완전관리형 서비스입니다. SageMaker는 기계 학습 프로세스의 각 단계에서 부담스러운 작업을 제거하여 고품질의 모델을 보다 쉽게 개발할 수 있도록 합니다.

자세히 알아보기 »

AWS AppSync

AWS AppSync는 AWS DynamoDB, Lambda 및 기타 데이터 원본에 안전하게 연결하는 힘든 작업을 처리하여 GraphQL API 개발을 용이하게 하는 완전관리형 서비스입니다. 배포된 후에는 AWS AppSync가 API 요청 볼륨에 따라 GraphQL API 실행 엔진을 자동으로 확장하고 축소합니다.

자세히 알아보기 »

AWS Glue

AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL(추출, 변환 및 로드) 서비스입니다.

자세히 알아보기 »


시작하기

산업 분야를 불문하고 다양한 규모의 기업들이 AWS를 통해 매일 비즈니스를 혁신하고 있습니다. 지금 전문가와 상담하고 AWS 클라우드 여정을 시작하세요.