Engie_logo@1x

ENGIE 在 AWS 上建立公共数据中心,加速实现零碳转型

2021

ENGIE 是法国最大的公用事业提供商之一,也是零碳能源转型的全球参与者,该公司生产、运输和经营电力、天然气和能源服务。ENGIE 是一个分散的组织,在全球拥有 16 万名员工,25 个事业部,具有高度的委托和授权能力。ENGIE 的分散全球客户群累积了大量数据,需要更智能、独特的方法和解决方案来调整其计划,并提供可在其全球事业部中摄取、组织、治理、共享和指导行动的数据。

2018 年,ENGIE 决定通过数据和创新加速数字化转型,成为一家数据驱动型公司。首先,ENGIE 希望构建一个名为“公共数据中心”的企业数据存储库,以使其客户和业务部门围绕同一解决方案保持一致。公共数据中心通过统一的平台和高度安全的环境,帮助 ENGIE 的业务部门轻松提取、存储、共享和使用数据集,最终使公司能够提高生产力,做出准确的能源生产预测,并为客户带来新的服务。

ENGIE 使用 Amazon Web Services (AWS) 创建了公共数据中心,这是一个使用全球分布的数据湖和 AWS 上的分析解决方案构建的自定义解决方案。公共数据中心通过简化数据访问和提供一套全面的分析工具,使团队能够进行创新。AWS 专业服务支持 ENGIE 设计和实施解决方案,并建立内部服务团队(称为 data@ENGIE 团队),该团队负责开发和运营公共数据中心平台。

ENGIE 如何利用 AWS Data and Analytics 实现炭平衡

确定对更智能数据的需求

ENGIE 的客户千差万别,从城市到零售客户再到大型公司,甚至更多。公司越来越多地支持客户利用分散资产(包括太阳能电池板和风电场)自行发电的能力。随着 ENGIE 进一步趋向于去中心化,它发现数据处理企业资源规划软件中的系统、应用程序和产品需要更新。公司需要一种统一的数据收集和分析方法来帮助客户管理其价值链。“例如,我们需要使用数据来测量消耗量,并根据天气预报来预测发电量,”指导 ENGIE 数据计划开发和交付的技术团队负责人 Gregory Wolowiec 说。Wolowiec 还列举了各国之间的孤立和不一致的问题:“所有的解决方案在不同的国家/地区都是不同的;组织的不同部分之间没有信息共享。对我们来说,能够以一种简化的方式收集和共享地球上任何地方的数据变得非常重要。”

ENGIE 首席数字官 Yves Le Gélard 阐述了公司的宗旨:“ENGIE 的可持续性是一切工作的基础。这就是我们存在的理由。我们帮助大公司和地球上最大的城市尽快向零碳转型,因为这实际上是当今人类面临的首要问题。”

ENGIE 集团首席数据官 Gérard Guinamand 补充道:“我们在数据方面的策略实际上与我们的宗旨直接相关。如果您希望推动和执行向零碳转型,您首先需要收集关于正在发生的事情的数据。这些数据包括您燃烧了多少二氧化碳,在哪里燃烧,以及这些数据与诸如天气、温度和人口数量等环境问题之间的关系。所有这些数据都需要存储、收集和计算,以便您能够衡量进度并遵循路线图。”

无论采用何种方法,ENGIE 都需要具有高安全性,并符合世界各地的法规。公司在整合概念验证时,与本地和全球云提供商探讨了各种解决方案。“我们确信 AWS 是一个很好的解决方案,原因很多,包括成本模型,尤其是在数据存储方面,”Wolowiec 说。因此,ENGIE 于 2018 年年中开始在 AWS 上开展其大型数据项目。

开发公共数据中心并部署到世界各地

Wolowiec 将公共数据中心描述为“协作和分布式的数据湖,使 ENGIE 能够存储数据、共享数据并使用数据创造价值。” 公共数据中心使用 Amazon Simple Storage Service (Amazon S3) 构建,Amazon S3 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。该解决方案还使用 Amazon Redshift,它是一款完全托管的 PB 级云数据仓库服务,可以查询 Amazon S3 数据湖中的半结构化数据,演示了数据仓库的湖仓一体方法。

由于解决方案使用 Amazon Redshift,客户可以在其公共数据中心环境中安全地部署数据仓库并利用分析。通过管理公共数据中心上的 Amazon Redshift 集群,可以将公司的业务部门管理员添加到公共数据中心项目中,使其轻松访问 Amazon S3 数据湖中的数据集,并从公共数据中心丰富的数据集目录中构建有价值的见解。公共数据中心使用 Amazon Redshift 进行两种不同类型的数据访问。它使用 Amazon Redshift Spectrum 直接查询公共数据中心的 S3 存储桶,并使用 Amazon Redshift 作为具有自己内部存储的预置数据仓库。“我们依靠 Amazon Redshift Spectrum 功能在公共数据中心管理的 Amazon S3 数据湖和 Amazon Redshift 数据仓库之间建立链接。”Wolowiec 说。

公共数据中心中涉及的其他 AWS 服务包括 Amazon Kinesis Data Streams (Amazon KDS),它是一种大规模可扩展且持久的实时数据流服务。使用 Amazon KDS,ENGIE 可以轻松地从物联网设备实时收集、处理和分析流数据,这意味着 ENGIE 可以快速收集用于开发洞察的信息。AWS Glue 是一种完全托管的元数据存储库的提取、加载、转换 (ETL) 服务,可以进一步帮助传输和清理数据。Amazon Athena 是一种交互式查询服务,可以使用标准 SQL 轻松分析 Amazon S3 中的数据,让 ENGIE 业务部门可以查看数据。为了从数据中收集进一步的见解,ENGIE 依靠 Amazon SageMaker,它是一款完全托管的服务,可为每个开发人员和数据科学家提供快速构建、训练和部署机器学习模型的能力。

为了方便在世界各地顺利、轻松地采用公共数据中心,ENGIE 提供了加速模板和文档,以帮助其业务部门管理员了解他们收集的数据的价值,并访问分布式数据湖中的数据。公共数据中心还支持高级别的数据治理和安全性。数据生产者可以共享和控制对数据集和工作流的访问,使用者可以请求访问和使用数据。

AWS 服务的集成为 ENGIE 提供了一个安全、灵活和可扩展的解决方案。现在,不同的业务部门可以按他们需要的方式使用该框架,而不必牺牲任何对运营至关重要的部分。易用性和自动化使 ENGIE 业务部门在 AWS 上构建公共数据中心解决方案后能够快速提高生产率。此外,还有积极的环境影响:ENGIE 利用数据从风电场获取尽可能多的能源,从而帮助提高这一重要可再生能源的效率。“我们提供正确的工具,使实体能够专注于价值创造,而不是花时间处理技术问题,”Wolowiec 说。截至 2020 年 7 月,ENGIE 已收集了公共数据中心中设置的 95TB 数据。

促进标准化的自上而下方法

公共数据中心通过实现信息技术和业务用户之间的数据社区,形成了 ENGIE 数据驱动战略的支柱,加快了提高 ENGIE 各级数据素养的速度,并帮助其优化内部流程或创建新的数据驱动服务。现在,所有业务部门都拥有一个独特的解决方案,可以更快地构建数据驱动的应用程序。ENGIE 目前有超过 351 个项目建立在世界各地的公共数据中心上。公共数据中心提供了一个真正统一的解决方案,因为它消除了孤岛,使每个部门都能从平等访问公共框架中获益。

凭借其收集和共享数据的新方法,ENGIE 看到了一个改变其业务方式的机会,公司正在建设一个垂直数据中心来实现这一目标。ENGIE 历来采用自下而上的方法,其业务部门为各自区域的客户提供服务。然而,由于其许多能源服务都是相同的,这导致了不必要的重复工作。“我们的发电活动,尤其是我们的可再生能源发电,在世界各地基本上是一样的,”Wolowiec 说,“我们可以使用公共数据中心在世界各地建立常用案例。接下来,我们将推出更多自上而下的方法,尤其是针对风电场。”

ENGIE 通过使用 AWS 服务构建其公共数据中心发现了巨大的价值,使其全球业务部门能够以更高效的方式收集、共享和分析数据。ENGIE 的业务部门仍然保持着自主权,但他们现在可以从集中式数据的优势中获益,从类似的用例中获得重要的见解,因为他们发现了更新、更有效的方法来为全世界提供能源。


ENGIE 简介

ENGIE 是一家全球能源公司,在全球拥有 25 个业务部门。该公司为数百万客户提供能源,并在整个价值链中开发集成解决方案,以支持企业和地方当局的零碳转型。

AWS 的优势

  • 在 351 个项目中收集了 95TB 的数据
  • 自动化能源预测
  • 提高了业务部门的生产力
  • 最大限度地提高了风电场的能源产量

使用的 AWS 服务

Amazon Kinesis Data Streams (KDS)

Amazon Kinesis Data Streams (KDS) 是一种可大规模扩展且持久的实时数据流服务。KDS 每秒可以从数十万个数据源连续捕获千兆字节的数据。收集的数据以毫秒为单位,可用于实时分析用例,例如实时控制面板、实时异常检测、动态定价等。

了解更多 »

 

Amazon Redshift

Amazon Redshift 是世界上速度最快的云数据仓库,并且速度每年都在提高。 Redshift 为财富 500 强公司、初创公司以及介于两者之间的任何公司提供工作负载分析支持。

了解更多 »

AWS Glue

AWS Glue 是一项无服务器数据整合服务,它简化了发现、准备和合并数据以进行分析、机器学习和应用程序开发的工作。AWS Glue 提供了数据整合所需的所有功能,这样您就可以在几分钟内开始分析数据并将其投入使用,而无需几个月时间。

了解更多 »

Amazon Athena

Amazon Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL 分析 Amazon S3 中的数据。Athena 是一种无服务器服务,因此没有需要管理的基础设施,您只需为运行的查询付费。

了解更多 »


开始使用

无论行业无论规模,每天都有的公司在使用 AWS 实现业务运维转型。联系我们的专家,立即踏上您的 AWS 云之旅。