AWS案例研究: 丰田互联
2020
丰田互联(北京)科技开发有限公司(以下简称“丰田互联”)是TOYOTA Connected Corporation的全资子公司,也是TOYOTA中国Connected战略的重要支柱,负责丰田汽车在中国市场车联网系统的开发和营运,在北京和广州设有办事处。丰田互联的目标是为丰田汽车在中国的生产厂、经销商和用户提供完整的车联网解决方案,利用移动终端与车载终端的互联互通技术,对车辆信息进行收集、分析、处理和应用,从而为客户提供更好的服务,增强客户安全和车辆拥有体验,让汽车使用更加愉快并充满乐趣!
在AWS优异的技术支持团队帮助下,我们高效地完成了数据湖项目的开发和部署,实现了整个项目的运维自动化,大幅度节省了人力成本。”
光武小叶子
丰田互联 副总经理
面临的挑战
今天,汽车工业正处于每百年一次巨大变化的时期。随着物联网的普及,计算机、自动化、电气化等新领域的技术创新不断发展,汽车概念本身也正在发生巨大变化。过去,我们通过“拥有”一辆汽车来享受“行驶”的乐趣和价值;现在,我们通过“使用”汽车来获得更多安全、可靠、舒适和便捷的服务,“汽车”正在从单纯的交通工具演变成移动设备,而使这一切从梦想变为现实的基础就是“车联网”技术。
丰田汽车从2009年就开始做车联网项目,最初是面向高端车型,能提供的服务有限,用户的接受度也不高。随着互联网技术的日益成熟和人们对服务认知的提升,车联网服务开始得到越来越多的认同。从2019年开始,丰田汽车开始在中国市场全面推广车联网服务,所有新上市的汽车都标配了车载数据通信模块(DCM)。利用这一模块,可以在用户同意的情况下将车辆数据传输到后台的车联网系统,经过分析、处理之后,为客户提供各种连接服务,包括帮助驾驶员更安全地使用汽车、依据驾驶行为数据,帮助安全的驾驶员获得汽车保险折扣等。
然而要实现这一目标,首先面临的挑战是如何注入、存储、解码、转换、分析数百万辆车实时产生的海量数据。行驶的车辆每天不断地生成新数据,而数百万辆联网汽车每时每刻所产生的数据量之大是令人难以置信的——每天有数十亿条消息生成数十TB级的数据,为了应对这一挑战,丰田互联需要首先建立可以高效存储数据的数据湖——Toyota Big Data Center China。“丰田汽车车联网项目是全球性的,AWS的全球化覆盖使我们可以很方便地构建全球统一的数据湖架构,为中国市场服务的Toyota Big Data Center China采用了丰田互联母公司TOYOTA Connected Corporation搭建的平台,利用AWS丰富的功能,采用无服务器架构,仅用5个月的时间就完成了整个系统的开发、部署和上线。”丰田互联副总经理光武小叶子说。
为什么选择AWS?
丰田互联选择AWS主要基于技术和服务两方面的因素。
在技术上,Toyota Big Data Center China的架构设计遵循丰田互联母公司数据湖系统的设计原则:采用无服务器架构、能快速进入市场、低延时、实时接收和存储PB级的数据(包括关系和非关系型数据)、具有分析和预测功能。“AWS的数据湖解决方案的可伸缩性、灵活性、安全性和可靠性完全符合我们的设计原则,可以充分满足我们的技术需求。”光武小叶子说。
作为车联网系统的核心,Toyota Big Data Center China的关键功能包括数据注入、解码、转换和分析。在数据注入方面,首先要解决的问题是如何快速、低成本地摄取和存储各种结构和非结构化的数据。Amazon Simple Storage Service(Amazon S3)恰好可以完美地满足这一需求,因为它具有优异的可伸缩性和高可用性,可以存储和检索任意规模的数据,并且提供了99.999999999% 的持久性。在Toyota Big Data Center China中,来自联网车辆的实时遥测数据被摄取到Amazon Kinesis Data Streams(KDS)中,通过AWS Lambda处理以使其具有可读性,而“原始副本”则通过Amazon Kinesis Data Firehose保存到Amazon S3中。在解码流程中,进入Amazon Kinesis Data Stream的数据由Lambda函数完成对输入消息的逐位解码,并将已解码的数据压缩后存入“已解码的Amazon S3桶”中。之后利用Amazon EMR的大规模并行处理功能,对解码后的消息进行数据转换和加工,再依据应用需求对数据进行进一步的分析处理,最终高效地完成从实时数据注入、解码到分析、应用的全流程。
在服务上,AWS优异的Enterprise Support服务为丰田互联的项目开发提供了全方位的支持。“从项目启动之初,AWS技术人员就开始为我们提供全面的支持服务,根据我们的应用需求,提出多方面的建议,帮助我们建立系统、节省费用。AWS的技术支持人员几乎每周都来公司与我们一起讨论方案,不是仅仅介绍单个AWS服务,而是根据我们的应用场景,给出AWS整个生态的解决方案,以及如何实现自动化部署等。”光武小叶子说。
获得的成效
从2019年启动项目,仅用了5个多月的时间,Toyota Big Data Center China项目就顺利完成并上线运行,开始为中国市场的丰田汽车用户提供车联网相关服务。图1 是基于AWS的Toyota Big Data Center China架构示意图,所使用的AWS服务主要包括Amazon Elastic Container Service (Amazon ECS)、Amazon S3、AWS Lambda、Amazon Kinesis、Amazon Kinesis Firehose、Amazon EMR、Amazon DynamoDB、Amazon Relational Database Service (Amazon RDS)、Elastic Load Balancing、Amazon CloudWatch、Amazon S3 Glacier Deep Archive等。
图 1 Toyota Big Data Center China基于AWS的架构示意图
选择AWS给丰田互联带来的最大好处是成本节省,这主要体现在两个方面:
其一是云资源使用成本的节省。Toyota Big Data Center China是一个庞大的项目,需要处理海量的数据,利用AWS丰富的功能建立起成本优化模型,丰田互联极大地降低了云资源的使用成本。例如,通过制定数据生命周期策略,经过设定的存储周期之后,将数据从Amazon S3移动到Amazon S3 Glacier,从而将数据存储成本降低了6倍,更进一步地将数据从Amazon S3 Glacier移动到Amazon S3 Glacier Deep Archive,成本又降低了4倍。另一方面,采用AWS无服务器架构和AWS Lambda、Amazon Kinesis、Elastic Load Balancing、Amazon ECS等技术,Toyota Big Data Center China实现了架构的自动灵活扩展,在每日的出行高峰期可以自动扩展满足系统的性能要求,在空闲时段则缩减规模,降低成本。
其二是系统的运维成本大幅度降低,于AWS构建的业务系统实现了高度自动化运维,极大地节省了人力成本。
在业务层面,稳定、可靠、高效的车联网服务系统也有助于丰田汽车为中国用户提供更好的服务。一旦用户选择开通车联网服务,经销商就可以根据车辆的使用数据,主动与客户联系,为客户提供更好的服务。比如,如果通过车联网发现客户的车辆存在小问题,经销商就可以主动提醒客户在驾驶过程中注意,并及时到店维修。
“目前我们大部分业务系统都是基于AWS的,在未来我们希望使用更多的AWS原生和托管服务,从而极大地减少我们开发和运维的成本,并增强业务系统的安全性、稳定性和可靠性。”光武小叶子说。
关于丰田互联
丰田互联(北京)科技开发有限公司是TOYOTA Connected Corporation的全资子公司,也是TOYOTA中国Connected战略的重要支柱,负责丰田汽车在中国市场车联网系统的开发和营运,在北京和广州设有办事处。
为什么使用AWS
- 完善的数据湖解决方案
- 优异的技术支持服务
使用的AWS服务
Amazon S3
Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。
Amazon Kinesis Data Streams
Amazon Kinesis Data Streams (KDS) 是一种可大规模扩展且持久的实时数据流服务。
AWS Lambda
通过 AWS Lambda,无需预置或管理服务器即可运行代码。您只需按使用的计算时间付费。
Amazon EMR
Amazon EMR 是行业领先的云大数据平台,可使用多种开放源代码工具处理大量数据,例如 Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi 和 Presto。
开始使用
各行各业中所有规模的公司都在使用 AWS 对其日常业务进行转型。联系我们的专家,立即踏上您的 AWS 云之旅。