Engie_logo@1x

ENGIE desenvolve o Common Data Hub na AWS e acelera a transição para zero-carbono

2021

A ENGIE, um dos maiores provedores de serviços públicos da França e agente global na transição para energia carbono zero, produz, transporta e lida com serviços de eletricidade, gás e energia. Com 160.000 funcionários em todo o mundo, a ENGIE é uma organização descentralizada que opera 25 unidades de negócios com alto nível de delegação e capacitação. A base de clientes global e descentralizada da ENGIE acumulou muitos dados e exigia uma abordagem e uma solução mais inteligentes e exclusivas para alinhar suas iniciativas e fornecer dados que pudessem ser ingeridos, organizados, administrados, compartilhados e executados em suas unidades de negócios globais. 

Em 2018, a ENGIE decidiu acelerar sua transformação digital por meio de dados e inovação, tornando-se uma empresa orientada por dados. Primeiro, a ENGIE quis desenvolver um repositório de dados empresarial denominado Common Data Hub para alinhar seus clientes e unidades de negócios ao redor da mesma solução. O Common Data Hub ajudou as unidades de negócios da ENGIE a ingerir, armazenar, compartilhar e consumir conjuntos de dados com facilidade, por meio de uma plataforma unificada e um ambiente altamente seguro, permitindo, por fim, que a empresa aumentasse a produtividade, fizesse previsões de produção de energia precisas e trouxesse novos serviços para os clientes. 

A ENGIE usou a Amazon Web Services (AWS) para criar o Common Data Hub, uma solução personalizada desenvolvida com um data lake globalmente distribuído e soluções de análise na AWS. O Common Data Hub capacitou as equipes a inovar simplificando o acesso aos dados e entregando um conjunto completo de ferramentas de análise. O AWS Professional Services ofereceu suporte à ENGIE no desenvolvimento e na implementação da solução, disponibilizando uma equipe de serviços interna (denominada data@ENGIE) encarregada de desenvolver e operar a plataforma Common Data Hub.

Como a ENGIE utiliza os dados e a análise da AWS para não gerar carbono

Identificação de uma necessidade de dados mais inteligentes

Os clientes da ENGIE são muito diversificados e inclui, entre eles, clientes varejistas, grandes empresas, entre outros. A empresa apoia cada vez mais a capacidade dos clientes de gerar a própria eletricidade com ativos descentralizados, incluindo painéis solares e usinas eólicas. À medida que a ENGIE caminhava para a descentralização, ela começou a perceber que seus sistemas, aplicações e produtos no software de planejamento de recursos corporativos de processamento de dados precisavam de atualização. A empresa precisava de um método uniforme para coletar e analisar dados a fim de ajudar os clientes a gerenciar suas cadeias de valor. “Precisamos usar dados para medir o consumo e prever os volumes de produção de eletricidade dependendo da previsão meteorológica, por exemplo”, diz Gregory Wolowiec, líder da equipe de tecnologia que orienta o desenvolvimento e a entrega de programas de dados da ENGIE. Wolowiec também cita problemas de isolamento e inconsistências entre os países: “Todas as soluções eram diferentes de um país para o outro; não havia compartilhamento entre as diferentes partes da organização. Tornou-se muito importante para nós poder coletar e compartilhar os dados de forma simplificada em todas as regiões do planeta.” 

Yves Le Gélard, diretor digital da ENGIE, explica o objetivo da empresa: “Para a ENGIE, a sustentabilidade é o início e o fim de tudo. Este é o nosso propósito, nossa raison d’être. Ajudamos grandes corporações e as maiores cidades do mundo em suas tentativas de migrar para o carbono zero o mais rapidamente possível porque, na realidade, essa é a questão número um para a humanidade atualmente.” 

Gérard Guinamand, diretor de dados do grupo da ENGIE, acrescenta: “Quando se trata de dados, nossa estratégia está diretamente vinculada ao nosso objetivo. Se quisermos direcionar e realizar uma transição para carbono zero, precisaremos primeiro reunir dados sobre o que está acontecendo. Isso inclui dados sobre a quantidade gerada de dióxido de carbono, onde é gerado e como tudo isso se relaciona com temas ambientais, como o clima, a temperatura e o número de pessoas. Todos esses dados precisam ser armazenados, reunidos e calculados de uma forma que seja possível medir o progresso e seguir um roteiro.” 

Independentemente do método adotado pela ENGIE, ele precisava apresentar um alto nível de segurança e estar em conformidade com os regulamentos em todo o mundo. À medida que a empresa preparava uma prova de conceito, ela explorava uma variedade de soluções com provedores de nuvem locais e globais. “Nos convencemos de que a AWS era uma boa solução por diversos motivos, incluindo o modelo de custo e, principalmente, o armazenamento de dados”, diz Wolowiec. A ENGIE começou a implementar seu grande projeto de dados na AWS em meados de 2018.

Desenvolvimento do Common Data Hub e implantação da solução no mundo todo

Wolowiec descreve o Common Data Hub como “o data lake colaborativo e distribuído que permite à ENGIE armazenar e compartilhar dados, além de criar valor com eles.” Ele foi desenvolvido com o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes no setor. A solução também usa o Amazon Redshift, um serviço na nuvem de data warehouse em escala de petabytes, totalmente gerenciado, capaz de consultar dados semiestruturados no data lake do Amazon S3, demonstrando a abordagem de lake house para data warehousing. 

Como a solução usa o Amazon Redshift, os clientes podem implantar data warehouses com segurança em seus ambientes do Common Data Hub e utilizar análises. Com o gerenciamento dos clusters do Amazon Redshift no Common Data Hub, os administradores das unidades de negócios da empresa podem ser adicionados aos projetos do Common Data Hub e acessar com facilidade os conjuntos de dados no data lake do Amazon S3, além de criar insights valiosos a partir do catálogo completo de conjuntos de dados do Common Data Hub. O Common Data Hub usa o Amazon Redshift para dois tipos diferentes de acesso aos dados. Ele usa o Amazon Redshift Spectrum para consulta direta aos buckets do S3 do Common Data Hub e o Amazon Redshift como um data warehouse provisionado com armazenamento interno próprio. “Contamos com o recurso Amazon Redshift Spectrum para criar um vínculo entre o data lake do Amazon S3 gerenciado pelo Common Data Hub e o data warehouse do Amazon Redshift”, diz Wolowiec. 

Outros serviços da AWS envolvidos no Common Data Hub incluem o Amazon Kinesis Data Streams (Amazon KDS), um serviço de streaming de dados em tempo real resiliente e altamente escalável. Com o Amazon KDS, a ENGIE consegue coletar, processar e analisar, com facilidade, dados de streaming de dispositivos da Internet das Coisas em tempo real, permitindo à ENGIE reunir com rapidez as informações incluídas para desenvolver insights. O AWS Glue, um serviço de ETL (extração, carga, transformação) totalmente gerenciado para um repositório de metadados, ajuda ainda mais a transferir e limpar os dados. O Amazon Athena, um serviço de consultas interativo que facilita a análise de dados no Amazon S3 usando SQL padrão, permite às unidades de negócios da ENGIE visualizar dados. E para coletar ainda mais insights dos dados, a ENGIE conta com o Amazon SageMaker, um serviço totalmente gerenciado que fornece a cada desenvolvedor e cientista de dados a capacidade de criar, treinar e implantar modelos de machine learning com rapidez. 

Para viabilizar a adoção fácil e tranquila do Common Data Hub ao redor do mundo, a ENGIE forneceu modelos de aceleração e documentação para ajudar suas unidades de negócios a perceber o valor dos dados coletados e acessá-los no data lake distribuído. O Common Data Hub também permite altos níveis de governança e segurança dos dados. Os produtores de dados podem compartilhar e controlar o acesso aos conjuntos de dados e fluxos de trabalho, e os consumidores podem solicitar acesso aos dados e consumi-los. 

A integração dos serviços da AWS forneceu uma solução segura, ágil e escalável para a ENGIE. Agora, as diferentes unidades de negócios podem usar a estrutura de trabalho da forma que precisam, sem abrir mão de nada que seja essencial para as operações. A facilidade de uso e a automação permitem às unidades de negócios da ENGIE aumentar a produtividade com rapidez depois de desenvolver a solução Common Data Hub na AWS. Também há impactos ambientais positivos: a ENGIE usa dados para obter o máximo de energia possível das usinas eólicas, ajudando a aumentar a eficácia dessa importante fonte de energia renovável. “Fornecemos as ferramentas certas para que as entidades possam se concentrar na criação de valor em vez de dedicar tempo lidando com problemas técnicos”, diz Wolowiec. Desde julho de 2020, a ENGIE coletou 95 TB de dados configurados no Common Data Hub.

Como viabilizar uma abordagem descendente padronizada

O Common Data Hub é a espinha dorsal da estratégia orientada por dados da ENGIE viabilizando a comunidade de dados entre usuários de negócios e tecnologia da informação, acelerando o aumento do conhecimento dos dados em cada nível da ENGIE e ajudando a otimizar processos internos ou criar serviços orientados por dados. Todas as unidades de negócios agora estão capacitadas com uma solução exclusiva para desenvolver aplicações orientadas por dados com mais rapidez. Atualmente, a ENGIE tem mais de 351 projetos no Common Data Hub em andamento no mundo. O Common Data Hub oferece uma solução totalmente coesa, pois elimina silos e permite a cada departamento beneficiar-se do acesso igualitário à estrutura de trabalho comum. 

Com seu novo método de coletar e compartilhar dados, a ENGIE vê uma oportunidade de mudar a forma de atuação, e a empresa está no processo de criar um hub de dados vertical para fazer exatamente isso. A ENGIE vem historicamente adotando uma abordagem ascendente, com suas unidades de negócios prestando serviços para clientes em suas respectivas regiões. No entanto, como muitos de seus serviços de energia são os mesmos, isso resulta em uma duplicação desnecessária de trabalho. “Nossa atividade de geração de eletricidade e, principalmente, nossa geração de energia renovável são basicamente idênticas em todas as regiões”, diz Wolowiec. “Podemos usar o Common Data Hub para criar casos de uso comuns ao redor do mundo. Nosso próximo passo é apresentar cada vez mais abordagens descendentes, principalmente para as usinas eólicas.” 

A ENGIE descobriu um valor significativo usando os serviços da AWS para desenvolver o Common Data Hub, permitindo que suas unidades de negócios globais coletem, compartilhem e analisem os dados de formas mais produtivas. As unidades de negócios da ENGIE ainda mantêm a autonomia, mas agora elas podem se beneficiar dos pontos fortes dos dados centralizados, obtendo insights importantes de casos de uso semelhantes à medida que elas descobrem formas mais modernas e eficientes de energizar o mundo.


Sobre a ENGIE

A ENGIE é uma empresa de energia global com 25 unidades de negócios atuando no mundo. A empresa fornece energia a milhões de clientes e desenvolve soluções integradas pela cadeia de valor para apoiar a transição para carbono zero por parte de autoridades locais e corporações.

Benefícios da AWS

  • Coleta de 95 TB de dados em 351 projetos
  • Previsões de energia automatizadas
  • Maior produtividade das unidades de negócios
  • Produção maximizada de energia nas usinas eólicas

Serviços da AWS usados

Amazon Kinesis Data Streams (KDS)

O Amazon Kinesis Data Streams (KDS) é um serviço de streaming de dados em tempo real com grande escalabilidade e resiliência. O KDS consegue capturar gigabytes de dados por segundo de centenas de milhares de fontes de maneira contínua. Os dados coletados são disponibilizados em milissegundos para possibilitar casos de uso de análise em tempo real, como painéis em tempo real, detecção de anomalias em tempo real, preços dinâmicos e outros.

Saiba mais »

 

Amazon Redshift

O Amazon Redshift é o data warehouse em nuvem mais rápido do mundo e fica mais rápido a cada ano. O Redshift sustenta workloads analíticas para empresas da Fortune 500, startups e empresas intermediárias.

Saiba mais »

AWS Glue

O AWS Glue é um serviço de integração de dados sem servidor que facilita a descoberta, a preparação e a combinação de dados para análise, machine learning e desenvolvimento de aplicações. O AWS Glue fornece todos os recursos necessários para a integração de dados, para que você possa iniciar a análise dos dados e colocá-los em uso em minutos, não em meses.

Saiba mais »

Amazon Athena

O Amazon Athena é um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão. O Athena não tem servidor, portanto não há infraestrutura para gerenciar, e você paga apenas pelas consultas executadas.

Saiba mais »


Comece a usar

Empresas de diferentes portes em todos os setores transformam os negócios diariamente com a AWS. Fale com nossos especialistas e comece sua própria jornada para a Nuvem AWS hoje mesmo.