Autodesk 使用 AWS 将大数据处理成本降低了 90%

2020 年

Autodesk 是建筑、工程、制造、媒体和娱乐行业 3D 设计领域的出色软件提供商。全球有超过 1 亿人使用 Autodesk 产品,其中包括计算机辅助设计和建筑信息模型软件。

为跟上不断扩大的用户群的步伐,Autodesk 开始与 Amazon Web Services(AWS)合作改进 Autodesk Data Platform(ADP)。Autodesk Data Platform 是一个数据仓库,可根据产品使用情况生成详细的洞察和分析。依靠 ADP 得出的指标(例如活跃用户、用户采用率、产品版本等),Autodesk 可以提高产品性能并发现更好地服务客户的新机遇。

Autodesk 徽标雕塑
kr_quotemark

得益于 AWS,我们已经超额完成目标。我们将成本降低了多达 90%,并通过近乎实时的数据处理增强了对业务用户的分析。

Deanne Marie Lim
Senior Data Engineering Manager

立即定义未来数据平台

2019 年 8 月,ADP 以每小时约 150GB 的速度接收数据,比其处理能力多出 50GB。Autodesk 预计,数据量将迅速激增,原因在于两个关键因素:Autodesk 的软件订阅用户增加,并且其桌面产品的每个新版本都会生成更多的产品使用数据。

Autodesk 亚太地区担任 Senior Data Engineering Manager 的 Deanne Marie Lim 说:“我们预测将有大量数据流入 ADP,必须进行改进。我们需要增强现有系统,以处理高达 150GB 的 10 倍的传入数据激增,这是该平台收到的最大数据量。还需要提高数据处理速度并将可用性增加到一小时,并且使处理成本降低 70%。”

在转型项目之前,Autodesk 在 AWS 基于 Spark 的系统上运行其数据平台。Autodesk 团队每小时观察一次产品使用情况,使用 Amazon Elastic Compute Cloud(Amazon EC2)来安排每小时清理和处理原始数据。但是,由于横向扩展的容量有限,当数据量在给定小时内飙升至 100GB 以上时,该平台经常会出现故障。因此,团队不得不手动重新运行作业,从而产生额外的成本,同时降低团队的效率。

此外,在清理原始数据(耗时长达四个小时)后,Autodesk 需要执行提取、转换、加载(ETL),以便在控制面板中展示此类数据。由于此清理和丰富过程会生成支持所有其他 ETL 和控制面板的最上游数据集,因此任何故障或延迟都会阻碍公司及时发现产品改进和其他业务发展的机遇。

转型

Lim 补充说:“作为 AWS 合作伙伴网络(APN)的成员,对于如何利用无服务器解决方案来改善数据平台,我们拥有第一手的洞察。AWS 提供有价值的必要工具和技术,供我们解决当前挑战。特别是,AWS LambdaAmazon DynamoDB 帮助我们解决了现有数据清理和丰富流程中遇到的问题。我们在一年内开发了可持续、可扩展且经济高效的解决方案。”

AWS 助力将 ADP 从批处理模型转变为在 AWS Lambda 上运行的基于事件的模型。这样的话,Autodesk 就能在数据到达时立即处理数据,而不是按预定时间进行处理(这会导致分析延迟)。AWS Lambda 会自动进行 ETL 聚合,现在数据几乎能实时处理,而不是按小时处理。

为实现高吞吐量、低延迟和近乎实时的处理,Autodesk 采用了 Amazon DynamoDB。借助 Amazon DynamoDB,ADP 可以在几毫秒内处理数千个并发请求。此外,Amazon Simple Storage Service(Amazon S3)还用于构建安全的数据湖并实现高数据可用性。

Autodesk 架构图

现在,ADP 每天可以自动处理超过 60 亿个数据事件,相当于 12TB 的数据,并且数据在收到后两分钟内就可用,低于之前的四小时。

Lim 总结道:“得益于 AWS,我们已经超额完成目标。我们将成本降低了多达 90%,并通过近乎实时的数据处理增强了对业务用户的分析。现在,我们可以对用户体验做出更有意义的改进。例如,通过跟踪有关过去用户活动的实时收集数据,我们可以向最终用户建议如何改善他们的软件使用方式。借助 AWS,我们现在可以向客户提供有价值的洞察。”

未来蓝图

这一实施的成功激励 Autodesk 继续与 AWS 合作,将基于事件的建模应用于其他产品使用数据集。展望未来,Autodesk 计划发展其数据平台以支持预测分析。借此,公司能够分析常见的使用模式并提供实时建议以改善用户旅程,从而增强用户体验。


Autodesk 简介

Autodesk 是建筑、工程、制造、媒体和娱乐行业 3D 设计领域的出色软件提供商。全球有超过 1 亿人使用 Autodesk 产品,其中包括计算机辅助设计和建筑信息模型软件。

AWS 带来的效益

  • 每年将大数据处理成本降低多达 90%
  • 支持近乎实时的数据处理、洞察和分析
  • 提高性能容量,最多可容纳 10 倍的数据
  • 每小时处理超过 3.5 亿个数据事件,高于之前的 7200 万个

使用的 AWS 服务

AWS Lambda

通过 AWS Lambda,无需预置或管理服务器即可运行代码。您只需按使用的计算时间付费。

了解更多 »

Amazon DynamoDB

Amazon DynamoDB 是一个键/值和文档数据库,可以在任何规模的环境中提供个位数的毫秒级性能。它是一个完全托管、多区域多主的持久数据库,具有适用于 Internet 规模的应用程序的内置安全性、备份和恢复和内存缓存。DynamoDB 每天可处理超过 10 万亿个请求,并可支持每秒超过 2000 万个请求的峰值。

了解更多 »

Amazon S3

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户,都可以使用 Amazon S3 来存储和保护各种用例(如网站、移动应用程序、备份和还原、存档、企业应用程序、IoT 设备和大数据分析)的数据,容量不受限。

了解更多 »

Amazon EC2

Amazon Elastic Compute Cloud(Amazon EC2)是一种 Web 服务,可以在云中提供安全并且可应需调整的计算容量。该服务旨在让开发人员能够更轻松地进行 Web 规模的云计算。

了解更多 »


开始使用

无论行业无论规模,每天都有的公司在使用 AWS 实现业务转型。联系我们的专家,立即踏上您的 AWS Cloud 之旅。