宝马集团利用基于 AWS 的数据湖充分释放数据的力量

2020

宝马集团总部位于德国慕尼黑,是一家全球高端汽车和摩托车制造商,旗下品牌包括 BMW、BMW Motorrad、MINI 和劳斯莱斯。该集团还提供优质的金融和移动服务。

在过去几年里,宝马集团一直致力于使用数据和预测分析来保持其在汽车行业数字化转型领域的前沿地位。宝马集团数据转型、人工智能、数据和 DevOps 平台副总裁 Kai Demtröder 说到,“为了持续创新,我们专注于打造全新的数字和互联体验,并通过启用数据驱动型决策推动我们的价值链变革,进而提升效率和有效性。” 为了推动这些创新,宝马集团于 2015 年创建了集中式本地部署数据湖,用于收集和汇总来自车辆传感器、操作系统和数据仓库的匿名数据,从而获得历史的、实时的和可预测的洞察。

但是,该公司需要更加轻松地扩展其数据湖以支持内部和外部利益攸关方持续增长的需求。由于数据分散在无数个孤立的环境中,不易获取,再加上自身 IT 基础设施陈旧,并且支持新的计划需要较长准备时间,宝马集团的创新步伐放缓。宝马集团需要开发具有足够敏捷性的解决方案,不仅支持各内部业务部门的数据需求,而且便于公司快速响应以应对层出不穷的客户需求使用案例组合。

宝马集团还致力于赋能数据使用者对诸如车辆遥测数据的实时访问权限,例如有关速度、位置、温度、电池电量和制动液液位以及发动机状态的信息。此外,该集团还希望将分析和机器学习整合到数据湖中,以加速开发新的创新服务。而且,该解决方案必须提供所需的治理,以确保遵守隐私和安全法规,这是基本的先决条件。

BMW iX
kr_quotemark

与 AWS 的合作才刚刚开始,我们期待 AWS 帮助我们的企业实现推动创新走向未来的战略。”

Kai Demtröder
数据转型、人工智能、数据和 DevOps 平台副总裁
宝马集团

赋能数据驱动型方案

为了应对这些挑战,宝马集团决定重新构建其本地部署数据湖,并将其迁移至 Amazon Web Services (AWS) 云。该公司的云数据中心 (CDH) 可处理并整合来自车辆传感器和整个企业其他来源的匿名数据,使创建面向客户的应用程序和内部应用程序的内部团队能够轻松获取这些数据。最终,该公司发现 AWS 可提供其所需的敏捷性和灵活度以及必需的覆盖,从而为全球用户提供支持。

在迁移之前,宝马集团僵化的本地部署数据湖无法满足数据工程师和分析师持续增长的需求。由于运行相互依赖的工作流,旧的数据湖无法从容处理多个租户,因此,宝马集团的平台、摄入和使用案例团队需要复杂的协作才能处理项目,导致出现企业瓶颈并降低其工作效率。

宝马集团转向了混合式 AWS Managed Services(包括 Amazon AthenaAmazon Simple Storage Service (Amazon S3)、Amazon Kinesis Data FirehoseAWS Glue),通过差异化组件以及创建能够扩缩以满足数据工程师需求的环境来降低设置的复杂性。此外,团队目前拥有其自己的端到端 DevOps 流程,从而赋能他们继续创新所需的自主性和敏捷性。 另外,宝马集团实施了现代 Web 门户,使用高级搜索算法和可轻松查询的数据帮助 CDH 用户发现可信赖的数据集,进而生成全新的洞察。

普及大规模数据使用

使用 AWS 服务,宝马集团每天摄入大量数据。目前,数百万辆宝马和 MINI 汽车通过宝马集团高度安全的后端连接到 CDH,系统每天处理数 TB 的匿名遥测数据。该公司使用这些数据来监控车辆运行状况指标,例如检查控制错误以识别整个车系的潜在问题。这赋能宝马集团运用从 CDH 摄入、收集和细化的车队数据更好地解决问题,甚至将问题解决在萌芽之时。

为了更好地管理这些数据,宝马集团推出了“数据提供者”和“数据使用者”的概念,以提升其软件工程团队的自主权和敏捷性。数据提供者使用 Amazon Kinesis Data FirehoseAWS Lambda、AWS Glue 和 Amazon EMR 等 AWS 服务摄入和转换数据。然后,数据使用者可以利用 Amazon Athena、Amazon SageMaker、AWS Glue 和 Amazon EMR 等服务,在其使用案例中运用这些数据。提供者和使用者均是在自己的账户中使用这些服务,只共享可由中央 API 控制的明确定义的接口,这有助于防止出现瓶颈。单个数据层存储在 Simple Storage Service (Amazon S3) 存储桶中,其架构注册于 AWS Glue 数据目录中。

除了在 AWS Glue 数据目录中收集技术元数据外,宝马集团发现构建人类可读的数据目录对于在企业范围内普及数据非常必要。这项工作将可确保流程高度透明,让大家清楚地了解在 CDH 中收集哪些数据资产以及如何收集这些数据资产。前端应用程序 Data Portal 作为数据浏览器可根据全企业 500 多位用户的数据使用模式清晰显示数据资源并提供“受欢迎程度索引”,从而提升数据分析师、数据科学家和工程师的效率。

此外,CDH 通过 AWS AppSync 运用 GraphQL 为数据提供者和使用者构建可扩展的通用 API,从而提升开发灵活度。与传统 REST API 不同,在 GraphQL 上构建的接口非常适合支持演变的要求,比如表示数据目录的元数据或提供从互联车辆收集的异构数据。开发人员可以灵活地定义有效负载结构和查询参数,以获取给定使用案例所需的数据。这有助于显著加快构建应用程序的速度,因为他们不再需要为每个具有不同数据要求的项目创建一组新的 API。

加速创新

基于 AWS 的集中式数据湖为宝马集团开发数据驱动型 IT 解决方案奠定了基础,并使该公司能够在无服务器架构上自动且独立地进行扩展。因此,与其之前的本地部署解决方案相比,其可以更快速地创新,因为之前的解决方案需要为每个新计划规划基础设施管理和容量。

宝马集团将围绕 CDH(包括其 API、架构和 Data Portal)开源关键组件。这也受宝马集团作为 Gaia-X 第一天成员的推动,Gaia-X 是一项欧洲倡议,皆在确立具有主权的数据空间。 

展望未来,宝马集团将继续横向扩展 CDH 平台的功能,进一步加速其数字化转型并在全业务范围内推动附加价值,从而赋能创新的客户体验、全新的移动服务和内部业务洞察。Demtröder 总结到,“与 AWS 的合作才刚刚开始,我们期待 AWS 帮助我们的企业实现推动创新走向未来的战略。”

要了解详情,请访问 aws.amazon.com/automotive

图 1:CDH 架构概览

图 2:CDH 门户视图


宝马集团简介

宝马集团拥有 BMW、MINI、劳斯莱斯和 BMW Motorrad 等四个品牌,是一家领先的高档汽车和摩托车制造商。该公司也提供优质的金融和移动服务。

AWS 的优势

  • 普及大规模数据使用
  • 每天处理来自数百万车辆的数 TB 遥测数据
  • 将问题解决在萌芽之时
  • 加速创新

使用的 AWS 服务

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose 是将串流数据可靠地加载到数据湖、数据存储和分析服务中的最简单方式。该服务可以捕获和转换串流数据并将其传输给 Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Elasticsearch Service、通用 HTTP 端点和服务提供商(如 Datadog、New Relic、MongoDB 和 Splunk)。

了解更多 »

Amazon SageMaker

Amazon SageMaker 是一项完全托管的服务,可以帮助开发人员和数据科学家快速构建、训练和部署机器学习 (ML) 模型。SageMaker 完全消除了机器学习过程中每个步骤的繁重工作,让开发高质量模型变得更加轻松。

了解更多 »

AWS AppSync

AWS AppSync 是一项完全托管式服务,通过处理与 AWS DynamoDB、Lambda 等数据源之间繁重的安全连接任务来简化 GraphQL API 的开发。部署之后,AWS AppSync 会自动向上扩展和缩减 GraphQL API 执行引擎以满足 API 请求量。

了解更多 »

AWS Glue

AWS Glue 是一项完全托管的提取、转换和加载 (ETL) 服务,让客户能够轻松准备和加载数据进行分析。

了解更多 »

更多宝马集团案例

1

未找到任何项目 

开始使用

不同行业和规模的企业都在使用 AWS 对其业务进行转型,以实现自身愿景。联系我们的专家,立即踏上您的 AWS 之旅。