Engie_logo@1x

ENGIE crea Common Data Hub en AWS y acelera la transición hacia la reducción a cero de las emisiones de carbono

2021

ENGIE, uno de los mayores proveedores de servicios públicos de Francia y un operador mundial en la transición energética con cero emisiones de carbono, produce, transporta y comercializa electricidad, gas y servicios energéticos. ENGIE, con 160 000 empleados en todo el mundo, es una organización descentralizada y gestiona 25 unidades de negocio con un alto nivel de delegación y empoderamiento. La base de clientes global descentralizada de ENGIE había acumulado muchos datos y necesitaba un planteamiento y una solución más inteligentes y únicos para alinear sus iniciativas y ofrecer datos que se pudieran capturar, organizar, controlar, compartir y procesar en todas sus unidades de negocio internacionales. 

En 2018, ENGIE decidió acelerar su transformación digital a través de los datos y la innovación al convertirse en una empresa controlada por datos. En primer lugar, ENGIE quería crear un repositorio de datos empresariales denominado Common Data Hub para alinear a sus clientes y unidades de negocio en torno a una misma solución. Common Data Hub ayudó a las unidades de negocio de ENGIE a capturar, almacenar, compartir y consumir fácilmente conjuntos de datos a través de una plataforma unificada y un entorno de gran seguridad, lo que, en última instancia, permitió a la empresa aumentar la productividad, hacer predicciones precisas sobre la producción de energía y ofrecer nuevos servicios a los clientes. 

ENGIE utilizó Amazon Web Services (AWS) para crear el Common Data Hub, una solución personalizada creada mediante un lago de datos distribuido mundialmente y soluciones analíticas en AWS. El Common Data Hub permite a los equipos innovar al simplificar el acceso a los datos y ofrecer un conjunto completo de herramientas de análisis. Los servicios profesionales de AWS respaldaron a ENGIE en el diseño e implementación de la solución y en la creación de un equipo de servicio interno (denominado equipo data@ENGIE) que se encarga de la evolución y funcionamiento de la plataforma de Common Data Hub.

Cómo ENGIE aprovecha los datos y el análisis de AWS para lograr la neutralidad del carbono

Identificación de la necesidad de datos más inteligentes

Hay una gran variedad de clientes de ENGIE, desde ciudades hasta clientes minoristas, pasando por grandes empresas y otros. La empresa apoya cada vez más la capacidad de los clientes para generar su propia electricidad con activos descentralizados, como paneles solares y parques eólicos. A medida que ENGIE avanzaba hacia la descentralización, descubrió que necesitaba actualizar su software de sistema de planificación de recursos empresariales, aplicaciones y productos de procesamiento de datos. La empresa necesitaba un método uniforme de recopilación y análisis de datos para ayudar a los clientes a administrar sus cadenas de valor. “Necesitamos utilizar los datos para medir el consumo y prever los volúmenes de producción de electricidad en función del pronóstico meteorológico, por ejemplo”, explica Gregory Wolowiec, jefe del equipo tecnológico que dirige el desarrollo y la ejecución de los programas de datos de ENGIE. Wolowiec también menciona problemas de aislamiento e incoherencias en los distintos países: “Todas las soluciones eran diferentes de un país a otro; no había intercambio de información entre las distintas partes de la organización. Para nosotros era muy importante poder recopilar y compartir los datos de forma ágil en cualquier lugar del planeta”. 

Yves Le Gélard, director digital de ENGIE, nos explica el propósito de la empresa: “La sostenibilidad para ENGIE es el alfa y el omega de todo. Es nuestra razón de ser. Ayudamos a las grandes empresas y a las mayores ciudades del planeta en sus intentos de transición hacia las cero emisiones de carbono lo antes posible, porque en realidad es la cuestión número uno para la humanidad hoy en día”. 

El director de datos del grupo ENGIE, Gérard Guinamand, agregó: “Nuestra estrategia en materia de datos está directamente relacionada con nuestro propósito. Si se quiere impulsar y llevar a cabo una transición hacia las cero emisiones de carbono, primero hay que recopilar datos sobre lo que está sucediendo. Eso incluye datos sobre el volumen de dióxido de carbono que se quema, dónde se quema y cómo se correlaciona todo con aspectos medioambientales como el clima, la temperatura y el número de personas. Todos estos datos tienen que ser almacenados, reunidos y procesados para poder medir el progreso y seguir una hoja de ruta”. 

Cualquiera que fuera el método que adoptara ENGIE, debía tener un alto nivel de seguridad y cumplir la normativa de todo el mundo. A medida que la empresa elaboraba una prueba de concepto, exploraba distintas soluciones con proveedores de servicios en la nube locales y mundiales. “Teníamos el convencimiento de que AWS era una solución adecuada por muchos motivos, entre ellos el modelo de costos, y especialmente en lo que respecta al almacenamiento de datos”, afirma Wolowiec. Así que ENGIE comenzó a emprender su gran proyecto de datos en AWS a mediados de 2018.

Desarrollo de Common Data Hub e implementación en todo el mundo

Wolowiec describe Common Data Hub como “el lago de datos colaborativo y distribuido que permite a ENGIE almacenar datos, compartirlos y utilizarlos para generar valor”. Se creó con Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en el sector. La solución también utiliza Amazon Redshift, un servicio de almacén de datos a escala de petabytes completamente administrado en la nube que puede consultar datos semiestructurados en el lago de datos de Amazon S3, lo que demuestra el enfoque de lake house para el almacenamiento de datos. 

Como la solución utiliza Amazon Redshift, los clientes pueden implementar un almacenamiento de datos de forma segura en sus entornos Common Data Hub y utilizar la analítica. Los administradores de las unidades de negocio de la empresa, al administrar los clústeres de Amazon Redshift en Common Data Hub, pueden agregarse a los proyectos de Common Data Hub y acceder fácilmente a los conjuntos de datos del lago de datos de Amazon S3, así como crear información valiosa a partir del extenso catálogo de conjuntos de datos de Common Data Hub, que utiliza Amazon Redshift para dos tipos diferentes de acceso a los datos. Utiliza Amazon Redshift Spectrum para la consulta directa a los buckets de S3 de Common Data Hub y Amazon Redshift como un almacenamiento de datos aprovisionado con su propio almacenamiento interno. “Confiamos en la característica Amazon Redshift Spectrum para hacer el enlace entre el lago de datos de Amazon S3 administrado por el Common Data Hub y el almacenamiento de datos de Amazon Redshift”, afirma Wolowiec. 

Otros servicios de AWS integrados en el Common Data Hub incluyen Amazon Kinesis Data Streams (Amazon KDS), un servicio de streaming de datos en tiempo real masivamente escalable y duradero. El uso de Amazon KDS permite a ENGIE recopilar, procesar y analizar fácilmente los datos de streaming de los dispositivos del Internet de las Cosas en tiempo real, lo que significa que ENGIE puede reunir rápidamente la información que utiliza para desarrollar información. AWS Glue, es servicio de extracción, carga y transformación (ETL) completamente administrado para un repositorio de metadatos, también ayuda a transferir y limpiar los datos. Amazon Athena, es un servicio de consultas interactivo que facilita el análisis de datos en Amazon S3 con SQL estándar, permite a las unidades de negocio de ENGIE ver los datos. Y para obtener más información de los datos, ENGIE emplea Amazon SageMaker, un servicio completamente administrado que proporciona a cada desarrollador y científico de datos la capacidad de crear, formar e implementar modelos de machine learning con rapidez. 

Para facilitar la adopción fluida y sencilla del Common Data Hub en todo el mundo, ENGIE proporcionó plantillas de aceleración y documentación para ayudar a los administradores de las unidades de negocio a ver el valor de los datos que recopilan y acceder a los datos en el lago de datos distribuido. Common Data Hub también permite un elevado nivel de gobernanza de los datos y de seguridad. Los productores de datos pueden compartir y controlar el acceso a los conjuntos de datos y flujos de trabajo, y los consumidores pueden solicitar acceso a los datos y consumirlos. 

La integración de los servicios de AWS proporcionó una solución segura, ágil y escalable para ENGIE. Ahora, las distintas unidades de negocio pueden utilizar el marco de trabajo de la forma que lo necesiten sin renunciar a nada de suma importancia para las operaciones. Con la facilidad de uso y la automatización, las unidades de negocio de ENGIE pueden aumentar la productividad rápidamente tras crear la solución Common Data Hub en AWS. También hay repercusiones medioambientales positivas: ENGIE utiliza los datos para obtener la máxima cantidad de energía posible de los parques eólicos, lo que contribuye a aumentar la eficacia de esta importante fuente de energía renovable. “Proporcionamos las herramientas adecuadas para que las entidades puedan centrarse en la creación de valor en lugar de dedicar el tiempo a las cuestiones técnicas”, señala Wolowiec. Hasta ahora, ENGIE lleva recopilados 200 TB de datos establecidos en el Common Data Hub.

Elaboración de un planteamiento descendente y estandarizado

Con Common Data Hub, que constituye la red troncal de la estrategia controlada por datos de ENGIE, la comunidad de datos entre la tecnología de la información y los usuarios de la empresa, lo que acelera el incremento de la cultura de los datos en todos los niveles de ENGIE y contribuye a optimizar los procesos internos o a crear nuevos servicios controlados por datos. Todas las unidades de negocio disponen ahora de una solución única para crear más rápidamente aplicaciones controladas por datos. En la actualidad, ENGIE cuenta con más de 1000 proyectos establecidos en Common Data Hub en todo el mundo. El Common Data Hub ofrece una solución de cohesión real, ya que elimina los silos y permite que todos los departamentos se beneficien de un acceso equitativo al marco común. 

Con su nuevo método de recopilación e intercambio de datos, ENGIE ve la oportunidad de cambiar su forma de trabajar, y la empresa se encuentra en proceso de crear un centro de datos vertical para conseguirlo. Tradicionalmente, ENGIE ha tenido un planteamiento ascendente (de abajo arriba), en el que sus unidades de negocio prestan servicios a los clientes en sus respectivas regiones. No obstante, dado que muchos de sus servicios energéticos son los mismos, se produce una duplicación innecesaria del trabajo. “Nuestra actividad de generación de electricidad y, sobre todo, de energía renovable, es básicamente la misma en todas partes”, afirma Wolowiec. “Podemos utilizar Common Data Hub para crear casos de uso comunes en todo el mundo. El siguiente paso para nosotros es presentar cada vez más enfoques descendentes, especialmente para los parques eólicos”. 

ENGIE descubrió un valor significativo al utilizar los servicios de AWS para crear su Common Data Hub, lo que permite a sus unidades de negocio internacionales recopilar, compartir y analizar datos de un modo más productivo. Las unidades de negocio de ENGIE siguen manteniendo su autonomía, pero ahora pueden beneficiarse de los puntos fuertes de los datos centralizados, obteniendo información importante de casos de uso similares mientras descubren formas más nuevas y eficientes de abastecer de energía al mundo.


Acerca de ENGIE

ENGIE es una empresa global de energía con 25 unidades de negocio que operan en todo el mundo. La empresa abastece a millones de clientes y desarrolla soluciones integradas a lo largo de la cadena de valor para ayudar a las empresas y a los organismos locales en su transición hacia la reducción a cero de las emisiones de carbono.

Beneficios de AWS

  • Se recopilaron 200 TB de datos en 1000 proyectos
  • Predicciones energéticas automatizadas
  • Aumento de la productividad de la unidad de negocio
  • Maximización de la producción de energía del parque eólico

Servicios de AWS utilizados

Amazon Kinesis Data Streams (KDS)

Amazon Kinesis Data Streams (KDS) es un servicio de streaming de datos en tiempo real con un alto nivel de escalabilidad y durabilidad. KDS puede recopilar continuamente gigabytes de datos por segundo procedentes de cientos de miles de fuentes. Los datos recopilados se encuentran disponibles en milisegundos para permitir los casos de uso de análisis en tiempo real, como paneles en tiempo real, detección de anomalías en tiempo real y precios dinámicos, entre otros.

Más información »

 

Amazon Redshift

Amazon Redshift es el almacenamiento de datos en la nube más ágil del mundo y su rapidez aumenta año tras año. Redshift respalda cargas de trabajo de análisis de empresas emergentes, compañías pertenecientes a la lista Fortune 500 y todas las que se encuentran en el medio.

Más información »

AWS Glue

AWS Glue es un servicio de integración de datos sin servidores que facilita la detección, preparación y combinación de datos para análisis, machine learning y desarrollo de aplicaciones. AWS Glue proporciona todas las capacidades que se necesitan para la integración de datos, para que pueda comenzar a analizarlos y usarlos en minutos en vez de meses.

Más información »

Amazon Athena

Amazon Athena es un servicio de consultas interactivo que facilita el análisis de datos en Amazon S3 con SQL estándar. Athena no tiene servidor, de manera que no es necesario administrar infraestructura y solo paga por las consultas que ejecuta.

Más información »


Introducción

Cada día crece el número de empresas de todos los tamaños y sectores que consiguen transformar sus negocios gracias a AWS. Contacte con nuestros expertos e inicie hoy mismo su proceso de traspaso a la nube de AWS.