Autodesk 基于 AWS 构建统一的日志分析解决方案,力图获得新的见解

Autodesk 是领先的 3D 设计和工程软件提供商,除了软件开发和软件交付,公司希望能为客户创造更多的价值。该公司还希望确保其全球数百万用户在运行该软件时,获得最佳体验。为此,Autodesk 需要尽快开始监测并修复软件问题。但是,执行起来并不容易,因为需要分析和存储的数据量不断增长,该公司以前的应用程序数据日志解决方案,现已很难满足需要。

该解决方案每天提取 2TB 数据,预计在未来几年内,这个数字将增长到 10TB。Autodesk 高级软件架构师 Tommy Li 说:“这样的解决方案存在一些性能问题,导致我们难以快速发现问题 。我们需要能够实时监测日志记录事件数据,这样才能够更快地回答客户的问题。”

Autodesk 的财务部门也积极支持寻找一个更具成本效益的日志记录解决方案。“我们有一个小型团队,我们想找到一个既可以简化日志数据管理,又可以降低成本的解决方案。”Li 说。

“最终,由于我们可以实时查看日志数据,因此我们正逐步改进我们的软件产品,并为客户提供更好的服务。”

Autodesk 高级软件架构师 Tommy Li

  • 关于 Autodesk
  • Autodesk 软件公司的总部位于美国加利福尼亚州圣拉斐尔,公司所开发的产品广泛应用于建筑、工程、施工、媒体和娱乐行业。该公司的软件包括 AutoCAD 和 3D 解决方案。

  • 优势
    • 通过实时数据分析更快地发现并修复应用程序问题
    • 缩短检测和恢复的平均时间
    • 小型 IT 团队,构建企业级数据记录分析解决方案
  • 使用的 AWS 服务

基于 AWS 创建完全托管的统一日志数据解决方案

为了完善其用于根本原因分析的日志分析功能,Autodesk 就如何利用 Amazon Web Services (AWS) 构建基于云的统一日志数据解决方案进行了研究。“我们已将 AWS 服务用于 Autodesk 的各种内部功能,并且希望通过开发统一的日志记录系统来扩展其用途。”Li 说。

Amazon Data Firehose 作为数据传输层,用于记录数据,而适用于 Apache Flink 的亚马逊托管服务用于发现实时监测指标,例如响应时间和错误率峰值。记录数据通过此管道后,将被发送到 Amazon CloudWatch,以获取显示在整个企业的标准化控制面板中的其它指标。这些指标包括总体流量摘要,其中有响应时间、错误和总请求数;API 指标,例如响应时间百分比、成功请求数和错误请求数;CPU、网络和每个 CPU 对应的磁盘数;以及 AWS 服务的 Amazon CloudWatch 指标。

同时,Amazon Data Firehose 将日志数据传送至 Amazon OpenSearch Service,这是一项托管服务,可让您轻松执行交互式日志分析、实时应用程序监控、网站搜索等工作。“[Amazon OpenSearch Service] 使数据取证活动得以进行,并帮助更快地发现并修复应用程序问题。”Li 说。Amazon Athena 提供了更深入的交互式分析查询,AWS X-Ray 提供了用于分析跟踪数据的工具。此外,Kibana 开源数据可视化工具与 Amazon OpenSearch Service 集成,驱动控制面板实时监测数据。

比以前更快地发现并修复问题

基于 Amazon OpenSearch Service 构建的统一日志记录解决方案,让您可以更快、更好地查看数据日志。Li 说:“[Amazon OpenSearch Service] 提供了一种更一致的方式,来实时收集和衡量记录数据。这项服务提供深度数据分析,可以更好地关联记录事件,从而更快地解决应用程序问题。” 例如,Autodesk 团队创建的控制面板可识别异常的趋势和模式,从而有助于快速与详细的日志记录相关联,进行详细的取证。

具体来说,Autodesk 使用仪器数据检测和处理错误的方式,来缩短总体平均恢复时间,从而实现更好的取证分析。该公司可以检测 API 使用异常,例如错误率和响应时间峰值。Amazon CloudWatch 告警事件缩短了平均检测时间和呼叫应急处理团队的时间。

该公司还希望从其分析数据中获得更深刻的见解,改善其软件和客户服务。“最终,由于我们可以实时查看日志数据,因此我们正逐步改进我们的软件产品,并为客户提供更好的服务,”Li 说。

Autodesk 正在与 AWS 合作构建可高度扩展的日志分析功能, 这将降低解决方案的总体成本。

打破数据孤岛

通过将其架构和 Elasticsearch 集群的管理工作转移到 AWS,Autodesk 能够轻松构建统一的日志记录解决方案。Li 说:“即使我们的 IT 团队人数不多,但通过让 AWS 负责这项技术,我们依然可以开发和维护强大的日志记录解决方案。因此,我们不再需要将资源投入到管理底层的基础设施中,并且可以按需扩展解决方案,支持不断增长的记录数据量。”

Autodesk 新推出的解决方案,通过单一管理平台视图呈现记录数据(例如应用程序性能和停机时间)。

Li 说:“由于不同的团队都在使用日志记录解决方案,我们不再有数据孤岛。每个人都可以使用 AWS 解决方案访问相同的视图,这意味着每个人都可以收到有关平台总体状态的更新见解。并且我们可以使用 Kibana 控制面板创建一个通用的词汇表,这样大家就可以用它来诊断问题。总之,作为一家公司,我们可以采用更统一的方法来发现并解决问题。”


了解详情