Engie_logo@1x

ENGIE crée le Common Data Hub sur AWS et accélère sa transition vers la neutralité carbone

2021

ENGIE, l'un des plus grands fournisseurs de services publics en France et un acteur mondial de la transition énergétique sans carbone : produit, transporte et vend de l'électricité, du gaz et des services énergétiques. Avec 160 000 employés dans le monde, ENGIE est une organisation décentralisée et exploit 25 unités opérationnelles avec un niveau élevé de délégation et de responsabilisation. La base clientèle mondiale décentralisée d'ENGIE avait accumulé de nombreuses données et elle devait adopter une approche et une solution plus intelligentes et uniques pour aligner ses initiatives et fournir des données qui soient intégrables, organisables, gouvernables, partageables et exploitables dans toutes ses unités commerciales mondiales. 

En 2018, ENGIE a décidé d'accélérer sa transformation numérique par les données et l'innovation en devenant une entreprise orientée données. Tout d'abord, ENGIE souhaitait créer un référentiel de données d'entreprise appelé « Common Data Hub », afin d'aligner ses clients et ses unités commerciales sur une même solution. Le Common Data Hub a permis aux unités commerciales d'ENGIE d'intégrer, de stocker, de partager et de consommer facilement des ensembles de données par le biais d'une plateforme unifiée et d'un environnement hautement sécurisé, ce qui a permis à l'entreprise d'accroître sa productivité, de faire des prévisions précises de production d'énergie et d'offrir de nouveaux services à ses clients. 

ENGIE a utilisé Amazon Web Services (AWS) pour créer le Common Data Hub, une solution personnalisée crée à l'aide d'un lac de données et de solutions analytiques distribuées à l'échelle mondiale sur AWS. Le Common Data Hub permet aux équipes d'innover en simplifiant l'accès aux données et en fournissant un ensemble complet d'outils d'analytiques. AWS Professional Services a aidé ENGIE à concevoir et à mettre en œuvre la solution et à mettre en place une équipe de service interne (appelée l'équipe data@ENGIE) chargée de faire évoluer et d'exploiter la plateforme Common Data Hub.

Comment ENGIE exploite AWS Data and Analytics pour atteindre la neutralité carbone

Identification de la nécessité de données plus intelligentes

Les clients d'ENGIE sont très variés, des villes aux clients particuliers en passant par les grandes entreprises et au-delà. La société soutient de plus en plus la capacité des clients à produire leur propre électricité avec des ressources décentralisées, notamment des panneaux solaires et des parcs éoliens. Alors qu'ENGIE s'orientait de plus en plus vers la décentralisation, elle a constaté que son logiciel de planification des ressources d'entreprise, Systems, Applications, and Products in Data Processing, devait être mis à jour. L'entreprise avait besoin d'une méthode uniforme de collecte et d'analyse des données pour aider ses clients à gérer leurs chaînes de valeur. « Nous devons utiliser les données pour mesurer la consommation et anticiper les volumes de production d'électricité en fonction des prévisions météorologiques, par exemple », explique Gregory Wolowiec, le chef de l'équipe technologique qui guide le développement et la mise en œuvre des programmes de données d'ENGIE. M. Wolowiec mentionne également des problèmes d'isolement et d'incohérence entre les pays : « Toutes les solutions étaient différentes d'un pays à l'autre ; il n'existe pas de partage entre les différentes parties de l'organisation. Il était devenu très important pour nous de pouvoir collecter et partager les données de manière rationnelle partout dans le monde. » 

Yves Le Gélard, le reponsable du numérique chez ENGIE, explique la finalité de l'entreprise : « Le développement durable pour ENGIE est l'alpha et l'oméga de tout. C’est notre raison d’être. Nous aidons les grandes entreprises et les plus grandes villes du monde dans leurs tentatives de transition vers le zéro carbone le plus rapidement possible, car c'est en fait la question numéro un de l'humanité aujourd'hui. » 

Gérard Guinamand, directeur des données du groupe ENGIE, ajoute : « Notre stratégie en matière de données est en fait directement liée à notre objectif. Si vous voulez mener à bien une transition vers une économie sans carbone, vous devez d'abord recueillir des données sur ce qui se passe. Il s'agit notamment de données sur la quantité de dioxyde de carbone que vous brûlez, sur l'endroit où vous le brûlez et sur la façon dont tout cela est corrélé avec des sujets environnementaux tels que le temps, la température et le nombre d'habitants. Toutes ces données doivent être stockées, rassemblées et calculées, afin de pouvoir mesurer les progrès et suivre une feuille de route. » 

Quelle que soit la méthode adoptée par ENGIE, elle doit présenter un haut niveau de sécurité et être conforme aux réglementations en vigueur dans le monde entier. Alors que l'entreprise mettait au point une preuve de concept, elle a exploré diverses solutions auprès de fournisseurs de services de cloud locaux et mondiaux. « Nous étions convaincus qu'AWS était une bonne solution pour de nombreuses raisons, notamment le modèle de coût, et surtout en termes de stockage de données », explique M. Wolowiec. ENGIE a donc entamé son grand projet de données avec AWS au milieu de 2018.

Développement du Common Data Hub et déploiement dans le monde entier

M. Wolowiec décrit le Common Data Hub comme « le lac de données collaboratif et distribué qui permet à ENGIE de stocker des données, de les partager et de créer de la valeur grâce aux données. » Il a été créé avec Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets qui offre capacité de mise à l'échelle, une disponibilité des données, une sécurité et des performances de pointe. La solution utilise également Amazon Redshift, un service d'entrepôt de données entièrement géré, à l'échelle du pétaoctet, dans le cloud, qui peut interroger des données semi-structurées dans le lac de données Amazon S3, démontrant ainsi l'approche de l'entreposage de données par le lake house

Comme la solution utilise Amazon Redshift, les clients peuvent déployer des entrepôts de données en toute sécurité dans leurs environnements Common Data Hub et faire appel à l'analytique. Les administrateurs des unités commerciales de l'entreprise, en gérant les clusters Amazon Redshift sur le Common Data Hub, peuvent être ajoutés aux projets Common Data Hub et accéder facilement aux jeux de données dans le lac de données Amazon S3, ainsi que créer des informations précieuses à partir du riche catalogue de jeux de données du Common Data Hub. Le Common Data Hub utilise Amazon Redshift pour deux types d’accès aux données différents. Il utilise Amazon Redshift Spectrum pour l'interrogation directe des compartiments S3 du Common Data Hub, utilise Amazon Redshift comme un entrepôt de données alloué avec son propre stockage interne. « "Nous nous appuyons sur la fonction Amazon Redshift Spectrum pour faire le lien entre le lac de données Amazon S3 géré par le Common Data Hub et l'entrepôt de données Amazon Redshift », explique M. Wolowiec.

Les autres services AWS impliqués dans le Common Data Hub comprennent Amazon Kinesis Data Streams (Amazon KDS), un service de streaming de données en temps réel massivement évolutif et durable. L'utilisation d'Amazon KDS permet à ENGIE de collecter, traiter et analyser facilement et en temps réel les données en continu provenant des appareils de l'Internet des objets, ce qui signifie qu'ENGIE peut rassembler rapidement les informations dont elle a besoin pour développer des idées. AWS Glue, un service d'extraction, de chargement et de transformation (ETL) entièrement géré pour un référentiel de métadonnées, contribue également au transfert et au nettoyage des données. Amazon Athena, un service de requête interactive qui facilite l'analyse des données dans Amazon S3 à l'aide de SQL standard, permet aux unités opérationnelles d'ENGIE de visualiser les données. Et pour obtenir d'avantages d'informations des données, ENGIE utilise Amazon SageMaker, un service entièrement géré qui permet à chaque développeur et scientifique des données de créer, d'entraîner et de déployer rapidement des modèles de machine learning. 

Pour faciliter l'adoption facile et fluide du Common Data Hub dans le monde entier, ENGIE a fourni des modèles d'accélération et de la documentation pour permettre aux administrateurs de ses unités commerciales de voir la valeur des données qu'ils collectent et à accéder aux données dans le lac de données distribué. Le Common Data Hub offre également des niveaux élevés de gouvernance et de sécurité des données. Les producteurs de données peuvent partager et contrôler l'accès aux jeux de données et aux flux, et les consommateurs peuvent demander l'accès aux données et les consommer. 

L'intégration des services AWS a fourni une solution sécurisée, agile et évolutive à ENGIE. Désormais, les différentes unités commerciales peuvent utiliser le cadre comme elles l'entendent sans sacrifier quoi que ce soit d'essentiel aux opérations. La facilité d'utilisation et l'automatisation ont permis aux unités commerciales d'ENGIE d'accroître rapidement leur productivité après la création de la solution Common Data Hub sur AWS. Il existe aussi des impacts environnementaux positifs : ENGIE utilise les données pour obtenir la quantité maximale d'énergie possible des parcs éoliens, ce qui contribue à accroître l'efficacité de cette importante source d'énergie renouvelable. « Nous fournissons les bons outils pour que les entités puissent se concentrer sur la création de valeur au lieu de prendre le temps de s'occuper des questions techniques », explique M. Wolowiec. Jusqu'à présent, ENGIE a collecté 200 To de données en place dans le Common Data Hub.

Facilitation d’une approche descendante standardisée

Le Common Data Hub constitue l'épine dorsale de la stratégie d'ENGIE orientée données en établissant une communauté de données entre les technologies de l'information et les utilisateurs de l'entreprise, en accélérant l'accroissement de la culture des données à tous les niveaux d'ENGIE et en optimisant les processus internes ou créant des services orientés données. Toutes les unités commerciales disposent désormais d'une solution unique pour créer plus rapidement des applications orientées données. ENGIE a actuellement plus de 1 000 projets sur le Common Data Hub dans le monde entier. Le Common Data Hub offre une solution véritablement cohérente puisqu'il élimine les silos et permet à chaque service de bénéficier d'un accès égal au cadre commun. 

Avec sa nouvelle méthode de collecte et de partage des données, ENGIE voit une opportunité de changer sa façon de travailler ; l'entreprise est en train de créer un centre de données vertical à cet effet. ENGIE a historiquement adopté une approche ascendante, ses unités opérationnelles fournissant des services aux clients dans leurs régions respectives. Cependant, comme beaucoup de ses services énergétiques sont les mêmes, cela entraîne une duplication inutile du travail. « Notre activité de production d'électricité et surtout notre production d'énergie renouvelable sont fondamentalement les mêmes partout », explique M. Wolowiec. « Nous pouvons utiliser le Common Data Hub pour créer des cas d'utilisation communs dans le monde entier. La prochaine étape pour nous est d'introduire de plus en plus d'approches descendantes, notamment pour les parcs éoliens. » 

ENGIE a découvert une valeur significative en utilisant les services AWS pour créer son Common Data Hub, permettant à ses unités commerciales mondiales de collecter, partager et analyser les données de manière plus productive. Les unités commerciales d'ENGIE conservent leur autonomie, mais elles peuvent désormais bénéficier des avantages de la centralisation des données et tirer des informations importantes de cas d'utilisation similaires, tout en découvrant de nouveaux moyens plus efficaces d'alimenter le monde en énergie.


À propos d'ENGIE

ENGIE est une entreprise mondiale du secteur de l'énergie qui compte 25 unités commerciales dans le monde entier. L'entreprise alimente des millions de clients et développe des solutions intégrées tout au long de la chaîne de valeur pour soutenir la transition vers le zéro carbone des entreprises et des collectivités locales.

Avantages d'AWS

  • Collecte de 200 To de données à travers 1 000 projets
  • Prédictions énergétiques automatisées
  • Augmentation de la productivité des unités commerciales
  • Maximisation de la production d'énergie du parc éolien

Services AWS utilisés

Amazon Kinesis Data Streams (KDS)

Amazon Kinesis Data Streams (KDS) est un service de streaming de données en temps réel massivement évolutif et durable. KDS peut saisir en continu des gigaoctets de données par seconde provenant de centaines de milliers de sources. Les données recueillies sont disponibles en quelques millisecondes pour permettre des cas d'utilisation analytique en temps réel tels que les tableaux de bord en temps réel, la détection d'anomalies en temps réel, la tarification dynamique, etc.

En savoir plus »

 

Amazon Redshift

Amazon Redshift est l'entrepôt de données en cloud le plus rapide du monde, et sa vitesse augmente chaque année. Redshift optimise les charges de travail analytiques des entreprises du Fortune 500, des start-ups et de tout ce qui se trouve entre les deux.

En savoir plus »

AWS Glue

AWS Glue est un service d'intégration de données sans serveur qui facilite la découverte, la préparation et la combinaison des données pour l'analytique, le machine learning et le développement d'applications. AWS Glue fournit toutes les fonctionnalités nécessaires à l'intégration des données, afin que vous puissiez commencer à analyser vos données et à les exploiter en quelques minutes au lieu de plusieurs mois.

En savoir plus »

Amazon Athena

Amazon Athena est un service de requête interactif qui facilite l'analyse des données dans Amazon S3 à l'aide de la syntaxe SQL standard. Athena étant sans serveur, il n'existe donc pas d'infrastructure à gérer, et vous ne payez que les requêtes que vous exécutez.

En savoir plus »


Démarrer

Les entreprises de toute taille et de tous les secteurs d'activités transforment chaque jour leurs activités à l'aide d'AWS. Contactez nos spécialistes et commencez dès aujourd'hui votre transition vers le Cloud AWS.