Transport for NSW 使用 AWS Glue 对分析进行现代化改造，将数据集成成本降低了 80%

TfNSW 的 2056 年未来交通运输战略概述了一个为期 40 年的愿景，旨在对新南威尔士州的交通运输进行现代化改造。这项长期总体规划将实时运营、战略规划和数字化转型整合到该州未来交通运输的单一路线图中。

作为这项工作的一部分，该机构的客户和交通运输分析与洞察（CMAI）团队发挥着核心作用，帮助提供了分析，为整个交通运输网络的决策提供了依据。该团队利用及时、可信的分析，为铁路、渡轮、地铁、公共汽车和道路运营领域的服务领导者提供各种支持，从每日绩效指标到长期基础设施规划，无所不包。

为了满足不断增长的分析需求，CMAI 使用了第三方提取、转换、加载（ETL）平台（一款数据集成解决方案），来管理 400 多个摄取工作流。随着时间的推移，这种方法带来了两种重大风险，也就是持续的许可费用以及运营限制，导致他们很难进行创新并提供新的功能和服务。该平台还要求工作人员具备深厚的专业知识，但是随着规模的扩大和复杂性的加剧，只有一个小团队掌握了这些专业知识，这样就为运营和变更管理带来了依赖风险。当该团队需要进行更新或增强时，该机构越来越依赖屈指可数的几名专家，而且在某些情况下，还需要获得外部支持。这两种情况都造成了不可预测的延误，并增大了运营风险。

于是，该团队着手对他们的交通运输数据集成策略进行现代化改造。这样有助于优化成本、降低专业知识集中化引发的风险，还能够让综合数据和分析团队更好地控制日常开发工作。这一转变还有助于推进该机构的长期目标，那就是为新南威尔士州提供实时洞察、敏捷的服务规划和现代化的交通运输基础设施。

为了降低运营风险和集成成本，该团队将他们的 ETL 工作负载迁移到无服务器数据集成服务 AWS Glue。通过该计划以及将 AWS Glue 与其他无服务器计算和编排服务结合使用，TfNSW 成功将 CMAI 的年度数据集成成本降低了大约 80%。由于 AWS Glue 支持 Python（一种广为人知的编程语言），因此该团队还能够向现有的多名团队成员传授专业知识。现在，这些成员可以独立管理数据工作流，因此消除了对专业知识或开发合作伙伴的依赖，并加快了交付速度。

该团队使用一些关键 AWS 数据服务创建了可重复使用的转换模式，极大地简化了新的数据摄取作业的开发流程，这样不但将构建时间从几个月缩短到几天，还能够取得可预测的部署成果。这样就增强了交通运输数据工作流的可持续性和可扩展性，并为日常运营和长期规划提供了更多的集成和更快的数据驱动型决策。

该团队还使用 AWS Step Functions 来改进工作流编排和监控。这项增强的错误处理功能增加了重试逻辑，并提高了对处理状态的可见性，因此生成了更多的容错数据管道。对于可扩展的存储，该团队采用了 Amazon Simple Storage Service（Amazon S3）作为数据湖的基础。该团队利用 Amazon S3 来存储原始数据和处理后的数据，并支持对该州的传输网络执行长期趋势分析。在不断演变的交通运输数据生态系统内，随着传统解决方案与现代解决方案的融合，还可以使用标准的 RDS 实例来支持向后兼容性。

在迁移阶段，AWS 专家为 30 多名团队成员提供了有关现代数据组织方式的全面培训课程，不仅涉及到 AWS Glue，还涵盖了更广泛的数据工具、策略和整个架构。TfNSW 向该组织中对数据空间感兴趣的全体人员开放了这些课程，因此增强了内部人员在现代数据实践方面的专业知识。这样一来，TfNSW 的客户和交通运输分析与洞察（CMAI）团队就加速了现代数据方法的采用，而不是只进行 ETL 迁移。

通过实施现代化的数据生态系统，TfNSW 可以为他们的交通运输网络提供近乎实时的洞察。从运营到规划的各个业务利益相关方都依赖可信赖、可预测的数据输出，为及时的决策提供信息。

例如，当服务变更将对通勤者产生影响时，TfNSW 的媒体和沟通团队现在可以迅速准备准确的公共新闻通气会。这一响应能力有助于改善客户体验，并能够帮助新南威尔士州更明智、更主动地进行服务管理。

CMAI 团队会继续增强自己的分析功能，并在可扩展的 AWS 基础上进行构建。