Engie_logo@1x

ENGIE crée le Common Data Hub sur AWS et accélère sa transition vers la neutralité carbone

2021

ENGIE, l’un des plus grands fournisseurs de services publics en France et un acteur mondial dans la transition énergétique vers la neutralité carbone, produit, transporte et vend de l’électricité, du gaz et des services d’énergie. Avec 160 000 employés dans le monde, ENGIE est une organisation décentralisée qui exploite 25 unités opérationnelles, avec un niveau élevé de délégation et d’autonomisation. La base de clients internationale décentralisée d’ENGIE avait accumulé un grand nombre de données. ENGIE avait besoin d’une approche plus intelligente et unique pour respecter ses initiatives et fournir des données pouvant être intégrées, organisées, gouvernées, partagées et exploitées dans ses unités opérationnelles internationales. 

En 2018, ENGIE a décidé d’accélérer sa transformation digitale grâce aux données et à l’innovation, en devenant une société orientée données. Tout d’abord, ENGIE voulait créer un référentiel de données d’entreprise nommé Common Data Hub pour réunir ses clients et unités opérationnelles autour de la même solution. Le Common Data Hub a aidé les unités opérationnelles d’ENGIE à intégrer, stocker, partager et consommer facilement des jeux de données sur une plateforme unifiée et dans un environnement hautement sécurisé. La société a pu ainsi augmenter sa productivité, réaliser des prévisions précises en matière de production d’énergie, et proposer de nouveaux services aux clients. 

ENGIE a utilisé Amazon Web Services (AWS) pour créer le Common Data Hub, une solution personnalisée créée à l’aide d’un lac de données distribué mondialement et de solutions d’analytique sur AWS. Le Common Data Hub permet aux équipes d’innover en simplifiant l’accès aux données et en fournissant un ensemble complet d’outils d’analytique. AWS Professional Services a aidé ENGIE à concevoir et à déployer la solution, ainsi qu’à mettre en place une équipe de service interne (nommée data@ENGIE), responsable de l’évolution et de l’exploitation de la plateforme Common Data Hub.

Comment ENGIE exploite AWS Data and Analytics pour atteindre la neutralité carbone

Identification de la nécessité d’obtenir des données plus intelligentes

La nature des clients d’ENGIE varie fortement, allant des villes aux particuliers, en passant par les grandes sociétés et bien d’autres encore. La société soutient de plus en plus la capacité des clients à générer leur propre électricité avec des ressources décentralisées, comme des panneaux solaires et des parcs éoliens. En essayant d’augmenter la décentralisation, ENGIE a découvert qu’elle devait mettre à jour ses systèmes, applications et produits dans le logiciel de planification des ressources d’entreprise pour le traitement des données. La société avait besoin d’une méthode uniforme pour recueillir et analyser les données afin d’aider les clients à gérer leurs chaînes de valeur. « Nous devons utiliser les données pour mesurer la consommation et anticiper les volumes de production d’électricité selon les prévisions météo, par exemple », explique Gregory Wolowiec, chef de l’équipe de technologie qui dirige le développement et la livraison de programmes de données d’ENGIE. M. Wolowiec mentionne également des problèmes d’isolation et d’incohérences entre les pays : « Toutes les solutions étaient différentes d’un pays à l’autre ; il n’y avait pas de partage entre les différentes parties de l’organisation. Il était très important que nous puissions collecter et partager les données de manière simplifiée, partout sur la planète. » 

Yves Le Gélard, directeur de la transformation digitale chez ENGIE, explique l’objectif de la société : « Le développement durable représente l’alpha et l’oméga pour ENGIE. C’est notre raison d’être. Nous soutenons de grandes sociétés et les plus grandes villes au monde dans leurs tentatives visant à passer à la neutralité carbone aussi rapidement que possible, parce qu’il s’agit du principal problème de l’humanité aujourd’hui. » 

Gérard Guinamand, directeur des données du groupe ENGIE, renchérit : « En matière de données, notre stratégie est directement en lien avec notre objectif. Si vous voulez diriger et exécuter une transition vers la neutralité carbone, vous devez commencer par rassembler des données sur les événements actuels. Cela inclut des données sur la quantité de dioxyde de carbone que vous émettez, sur le lieu où vous l’émettez et sur sa corrélation avec des sujets environnementaux comme la météo, la température et le nombre d’individus. Toutes ces données doivent être stockées, rassemblées et calculées afin de vous permettre de mesurer la progression, ainsi que de suivre une feuille de route. » 

La méthode adoptée par ENGIE se devait d’offrir un niveau de sécurité élevé et être conforme aux réglementations du monde entier. En mettant sur pied une preuve de concept, la société a exploré différentes solutions avec des fournisseurs de cloud locaux et internationaux. « Nous étions convaincus qu’AWS était une bonne solution pour de nombreuses raisons, notamment le modèle de coûts, et en particulier en termes de stockage des données », poursuit M. Wolowiec. ENGIE a donc entamé son grand projet sur les données avec AWS mi-2018.

Développement du Common Data Hub et déploiement dans le monde entier

M. Wolowiec décrit le Common Data Hub comme « le lac de données collaboratif et distribué qui permet à ENGIE de stocker des données, d’en partager et de créer de la valeur à partir des données. » Il a été conçu à l’aide d’Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets qui offre une scalabilité, une disponibilité des données, une sécurité et des performances de pointe. La solution utilise également Amazon Redshift, un service d’entreposage de données dans le cloud, entièrement géré et à l’échelle du pétaoctet, qui peut interroger des données semi-structurées dans le lac de données Amazon S3, ce qui démontre l’approche Lake House de l’entreposage de données. 

La solution utilisant Amazon Redshift, les clients peuvent déployer des entrepôts de données en toute sécurité dans leurs environnements Common Data Hub et utiliser l’analytique. En gérant des clusters Amazon Redshift sur le Common Data Hub, les administrateurs d’unité opérationnelle de la société peuvent être ajoutés à des projets Common Data Hub et accéder facilement à des jeux de données dans le lac de données Amazon S3, en plus de créer des informations précieuses à partir du riche catalogue de jeux de données de Common Data Hub. Le Common Data Hub utilise Amazon Redshift pour deux types d’accès aux données différents. Il utilise Amazon Redshift Spectrum pour interroger directement les compartiments S3 du Common Data Hub et utilise Amazon Redshift en tant qu’entrepôt de données alloué disposant de son propre stockage interne. « Nous nous appuyons sur la fonctionnalité Amazon Redshift Spectrum pour faire le lien entre le lac de données Amazon S3 géré par le Common Data Hub et l’entrepôt de données Amazon Redshift », explique M. Wolowiec. 

Les autres services AWS impliqués dans le Common Data Hub comprennent Amazon Kinesis Data Streams (Amazon KDS), un service de diffusion de données en temps réel extrêmement évolutif et durable. L’utilisation d’Amazon KDS permet à ENGIE de recueillir, de traiter et d’analyser facilement les données diffusées par les appareils utilisant l’Internet des objets en temps réel. ENGIE peut ainsi rassembler rapidement les données nécessaires pour développer des informations. AWS Glue, un service extract, load, transform (ETL) entièrement géré pour un référentiel de métadonnées, aide davantage à transférer et à nettoyer les données. Amazon Athena, un service d’interrogation interactif qui facilite l’analyse des données dans Amazon S3 à l’aide du SQL standard, permet aux unités opérationnelles d’ENGIE de consulter les données. Pour recueillir davantage d’informations à partir des données, ENGIE s’appuie sur Amazon SageMaker, un service entièrement géré qui fournit à chaque développeur et data scientist la possibilité de créer, former et déployer rapidement des modèles de Machine Learning. 

Pour favoriser une adoption fluide et simple du Common Data Hub dans le monde entier, ENGIE a fourni des modèles d’accélération et une documentation pour aider les administrateurs de ses unités opérationnelles à percevoir la valeur des données qu’ils recueillent et à accéder aux données dans le lac de données distribué. Le Common Data Hub offre également des niveaux élevés de gouvernance et de sécurité des données. Les producteurs de données peuvent partager et contrôler l’accès aux jeux de données et aux flux de travail, tandis que les consommateurs peuvent demander l’accès aux données et les utiliser. 

L’intégration des services AWS a fourni à ENGIE une solution sécurisée, agile et évolutive. À présent, les différentes unités opérationnelles peuvent utiliser le cadre de la manière nécessaire, sans sacrifier d’éléments essentiels aux opérations. La facilité d’utilisation et l’automatisation permettent aux unités opérationnelles d’ENGIE d’augmenter rapidement la productivité après avoir créé la solution Common Data Hub sur AWS. Les impacts sur l’environnement sont également positifs : ENGIE utilise les données pour obtenir la quantité maximale d’énergie possible grâce aux parcs éoliens, ce qui aide à augmenter l’efficacité de cette importante source d’énergie renouvelable. « Nous fournissons les bons outils afin que les entités puissent se concentrer sur la création de valeur, au lieu de prendre le temps de traiter des problèmes techniques », souligne M. Wolowiec. En juillet 2020, ENGIE avait recueilli 95 To de données configurées dans le Common Data Hub.

Facilitation d’une approche descendante standardisée

Le Common Data Hub constitue la colonne vertébrale de la stratégie orientée données d’ENGIE, en mettant à disposition une communauté des données entre les technologies de l’information et les utilisateurs professionnels. Il accélère la culture des données à tous les niveaux d’ENGIE et pour l’aider à optimiser ses processus internes ou à créer de nouveaux services orientés données. Toutes les unités opérationnelles bénéficient à présent d’une solution unique pour créer plus rapidement des applications orientées données. ENGIE possède actuellement plus de 351 projets sur le Common Data Hub, en cours dans le monde entier. Le Common Data Hub offre une solution cohérente, car il élimine les silos et permet à chaque service de bénéficier d’une égalité d’accès au cadre commun. 

Grâce à sa nouvelle méthode de collecte et de partage des données, ENGIE perçoit l’opportunité de changer sa manière d’opérer. La société est justement en train de créer un hub de données vertical pour y parvenir. ENGIE possédait auparavant une approche du bas vers le haut : ses unités opérationnelles fournissaient des services aux clients dans leurs propres régions. Cependant, un grand nombre de ses services d’énergie étant identiques, cette approche causait une duplication inutile du travail. « Notre activité de génération d’électricité, et en particulier d’énergie renouvelable, est sensiblement la même partout », explique M. Wolowiec. « Nous pouvons utiliser le Common Data Hub pour créer des cas d’utilisation courants partout dans le monde. Par la suite, nous allons introduire de plus en plus d’approches descendantes, en particulier pour les parcs éoliens. » 

ENGIE a découvert une valeur importante en utilisant les services AWS pour créer son Common Data Hub, ce qui a permis à ses unités opérationnelles internationales de recueillir, de partager et d’analyser les données de manière plus productive. Les unités opérationnelles d’ENGIE conservent leur autonomie, mais elles peuvent désormais bénéficier des atouts des données centralisées, en recueillant des informations importantes à partir de cas d’utilisation similaires et en découvrant des façons plus modernes et efficaces de fournir de l’énergie au monde.


À propos d'ENGIE

ENGIE est une société d’énergie mondiale qui compte 25 unités opérationnelles opérant dans le monde entier. La société fournit de l’énergie à des millions de clients et développe des solutions intégrées tout au long de la chaîne de valeur, pour soutenir la transition vers la neutralité carbone des organisations et des autorités locales.

Avantages d'AWS

  • A collecté 95 To de données dans 351 projets
  • A automatisé les prévisions en matière d’énergie
  • A augmenté la productivité des unités opérationnelles
  • A optimisé la production d’énergie des parcs éoliens

Services AWS utilisés

Amazon Kinesis Data Streams (KDS)

Amazon Kinesis Data Streams (KDS) est un service de diffusion de données en temps réel extrêmement évolutif et durable. KDS peut capturer en continu des gigaoctets de données par seconde à partir de centaines de milliers de sources. Les données collectées sont disponibles en millisecondes pour permettre l'utilisation d'une analytique en temps réel telle que les tableaux de bord en temps réel, la détection des anomalies en temps réel, la tarification dynamique, etc.

En savoir plus »

 

Amazon Redshift

Amazon Redshift est l'entrepôt de données cloud le plus rapide au monde, qui ne cesse d'accroître sa vitesse d'année en année. Redshift optimise les charges de travail analytiques des organisations de toutes tailles, des entreprises figurant au classement Fortune 500 jusqu’aux start-ups.

En savoir plus »

AWS Glue

AWS Glue est un service d'intégration de données sans serveur qui facilite la découverte, la préparation et la combinaison des données pour l'analytique, le machine learning et le développement d'applications. AWS Glue offre toutes les fonctionnalités nécessaires à l'intégration des données, pour vous permettre de commencer à analyser et à mettre à profit vos données en quelques minutes, plutôt qu'en quelques mois.

En savoir plus »

Amazon Athena

Amazon Athena est un service de requêtes interactif qui facilite l'analyse des données dans Amazon S3 à l'aide de la syntaxe SQL standard. Athena fonctionne sans serveur. Il n'existe donc aucune infrastructure à gérer, et vous ne payez que les requêtes que vous exécutez.

En savoir plus »


Démarrer

Les entreprises de toutes tailles et de tous secteurs transforment chaque jour leurs activités grâce à leur utilisation d'AWS. Contactez nos spécialistes et commencez votre transition vers le Cloud AWS dès aujourd'hui.