Engie_logo@1x

ENGIE desenvolve o Common Data Hub na AWS e acelera a transição para carbono zero

2021

Como um dos maiores provedores de serviços públicos da França e uma peça global na transição de energia carbono zero, a ENGIE produz, transporta e lida com serviços de eletricidade, gás e energia. Com 160 mil funcionários em todo o mundo, a ENGIE é uma organização descentralizada que opera 25 unidades de negócios com alto nível de delegação e capacitação. A base de clientes global descentralizada da ENGIE acumulou muitos dados e necessitava de uma abordagem e solução mais inteligentes e exclusivas para alinhar suas iniciativas e fornecer dados que pudessem ser ingeridos, organizados, governados, compartilhados e acionados em suas unidades de negócios globais. 

Em 2018, a ENGIE decidiu acelerar sua transformação digital por meio de dados e inovação, tornando-se uma empresa orientada por dados. Primeiro, a ENGIE quis desenvolver um repositório de dados empresarial chamado Common Data Hub para alinhar seus clientes e suas unidades de negócios em torno da mesma solução. O Common Data Hub ajudou as unidades de negócios da ENGIE a ingerir, armazenar, compartilhar e consumir conjuntos de dados com facilidade, por meio de uma plataforma unificada e um ambiente altamente protegido, permitindo, por fim, que a empresa aumentasse a produtividade, fizesse previsões de produção de energia precisas e levasse novos serviços aos clientes. 

A ENGIE usou a Amazon Web Services (AWS) para criar o Common Data Hub, uma solução personalizada desenvolvida com um data lake distribuído globalmente e soluções de análise na AWS. O Common Data Hub capacita as equipes a inovar, simplificando o acesso aos dados e fornecendo um conjunto de ferramentas de análise abrangente. A AWS Professional Services ofereceu suporte à ENGIE no design e na implementação da solução e na instalação de uma equipe de serviço interna (chamada equipe data@ENGIE), responsável pela evolução e operação da plataforma Common Data Hub.

Como a ENGIE utiliza os dados e a análise da AWS para alcançar a neutralidade de carbono

Identificar a necessidade de dados mais inteligentes

Os clientes da ENGIE são muito diversificados, incluindo desde clientes varejistas até grandes empresas, entre outros. A empresa oferece cada vez mais suporte à capacidade dos clientes de gerar a própria eletricidade com ativos descentralizados, inclusive painéis solares e usinas eólicas. À medida que caminhava para a descentralização, a ENGIE começou a perceber que seus sistemas, aplicações e produtos de software de planejamento de recursos empresariais de processamento de dados precisavam ser atualizados. A empresa precisava de um método uniforme de coletar e analisar dados para ajudar os clientes a gerenciar suas cadeias de valor. “Precisamos usar dados para medir o consumo e prever os volumes de produção de eletricidade que dependem da previsão meteorológica, por exemplo”, diz Gregory Wolowiec, líder da equipe de tecnologia que orienta o desenvolvimento e a entrega de programas de dados da ENGIE. Wolowiec também menciona problemas de isolamento e inconsistências entre os países: “Todas as soluções eram diferentes de um país para o outro; não havia compartilhamento entre as diferentes partes da organização. Para nós, tornou-se muito importante sermos capazes de coletar e compartilhar os dados de maneira simplificada em qualquer lugar do planeta”. 

Yves Le Gélard, diretor digital da ENGIE, explica o propósito da empresa: “Para a ENGIE, a sustentabilidade é o alfa e o ômega de tudo. Esta é a nossa raison d’être. Ajudamos grandes corporações e as maiores cidades do planeta em seus esforços de transição para o carbono zero o mais rápido possível, porque esta é a principal questão da humanidade hoje”. 

O diretor de dados do grupo ENGIE, Gérard Guinamand, acrescenta: “No que diz respeito aos dados, nossa estratégia está diretamente ligada a nosso propósito. Se quisermos direcionar e fornecer uma transição para carbono zero, precisaremos primeiro reunir dados sobre o que está acontecendo. Isso inclui dados sobre a quantidade gerada de dióxido de carbono, onde é gerado e como tudo isso se relaciona com temas ambientais, como o clima, a temperatura e o tamanho da população. Todos esses dados precisam ser armazenados, coletados e computados para que você possa mensurar o progresso e seguir um roteiro”. 

Qualquer método adotado pela ENGIE precisava ter um alto nível de segurança e ser compatível com as regulamentações mundiais. À medida que preparava uma prova de conceito, a empresa explorava uma variedade de soluções com provedores de nuvem locais e globais. “Nós nos convencemos de que a AWS era uma boa solução por diversos motivos, inclusive o modelo de custo e, principalmente, o armazenamento de dados”, diz Wolowiec. A ENGIE começou a implementar seu grande projeto de dados na AWS em meados de 2018.

Desenvolvimento do Common Data Hub e implantação da solução no mundo todo

Wolowiec descreve o Common Data Hub como “o data lake colaborativo e distribuído que permite à ENGIE armazenar e compartilhar dados, além de criar valor com eles”. Foi desenvolvido utilizando o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. A solução também usa o Amazon Redshift, um serviço de data warehouse em escala de petabytes totalmente gerenciado na nuvem, capaz de consultar dados semiestruturados no data lake do Amazon S3, demonstrando a abordagem lake house para data warehousing. 

Como a solução usa o Amazon Redshift, os clientes podem implantar data warehouses com segurança em seus ambientes de hub de dados comuns e fazer uso de análise. Com o gerenciamento dos clusters do Amazon Redshift no Common Data Hub, os administradores das unidades de negócios da empresa podem ser adicionados aos projetos do Common Data Hub e acessar com facilidade os conjuntos de dados no data lake do Amazon S3, além de criar insights valiosos do catálogo completo de conjuntos de dados do Common Data Hub. O Common Data Hub usa o Amazon Redshift para dois tipos diferentes de acesso aos dados. Ele usa o Amazon Redshift Spectrum para consulta direta aos buckets do S3 do Common Data Hub e o Amazon Redshift como um data warehouse provisionado com armazenamento interno próprio. “Contamos com o recurso Amazon Redshift Spectrum para criar o elo entre o data lake do Amazon S3 gerenciado pelo Common Data Hub e o data warehouse do Amazon Redshift”, diz Wolowiec.

Entre outros produtos da AWS envolvidos no Common Data Hub está o Amazon Kinesis Data Streams (Amazon KDS), um serviço de streaming de dados em tempo real extremamente escalável e durável. Usar o Amazon KDS permite que a ENGIE colete, processe e analise facilmente dados de streaming de dispositivos da Internet das Coisas em tempo real, o que significa que a ENGIE pode coletar rapidamente as informações que utiliza para desenvolver insights. O AWS Glue, um serviço de extração, carregamento e transformação (ETL) totalmente gerenciado para um repositório de metadados, ajuda ainda mais a transferir e limpar os dados. O Amazon Athena, um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão, permite que as unidades de negócio da ENGIE visualizem dados. E para obter mais insights dos dados, a ENGIE conta com o Amazon SageMaker, um serviço totalmente gerenciado que fornece a todos os desenvolvedores e cientistas de dados a capacidade de criar, treinar e implantar modelos de machine learning rapidamente. 

Para facilitar a adoção fácil e tranquila do hub de dados comum em todo o mundo, a ENGIE forneceu modelos e documentação de aceleração para ajudar os administradores da unidade de negócios a perceber o valor dos dados que coletam e acessar os dados no data lake distribuído. O Common Data Hub também permite altos níveis de governança e segurança dos dados. Os produtores de dados podem compartilhar e controlar o acesso a conjuntos de dados e fluxos de trabalho, e os consumidores podem solicitar acesso e consumir dados. 

A integração dos produtos da AWS forneceu uma solução segura, ágil e escalável para a ENGIE. Agora, as diferentes unidades de negócios podem usar o framework da forma que precisarem, sem abrir mão de nada que seja essencial para as operações. A facilidade de uso e a automação permitem às unidades de negócios da ENGIE aumentar a produtividade com rapidez após desenvolver a solução Common Data Hub na AWS. Também há impactos ambientais positivos: a ENGIE usa dados para obter o máximo de energia possível das usinas eólicas, ajudando a aumentar a eficácia dessa importante fonte de energia renovável. “Fornecemos as ferramentas certas para que as entidades possam se concentrar na criação de valor em vez de dedicar tempo para tratar de problemas técnicos”, diz Wolowiec. Até agora, a ENGIE coletou 200 TB de dados configurados no Common Data Hub.

Como viabilizar uma abordagem descendente padronizada

O Common Data Hub é a estrutura da estratégia orientada por dados da ENGIE ao viabilizar a comunidade de dados entre usuários de negócios e tecnologia da informação, acelerando o aumento do conhecimento dos dados em cada nível da ENGIE e ajudando a otimizar processos internos ou a criar serviços orientados por dados. Todas as unidades de negócios agora estão capacitadas com uma solução exclusiva para desenvolver aplicações orientadas por dados com mais rapidez. Atualmente, a ENGIE tem mais de mil projetos no Common Data Hub em andamento no mundo. O Common Data Hub oferece uma solução realmente coesa, pois elimina silos e permite que cada departamento se beneficie de acesso igual ao framework comum. 

Com seu novo método de coleta e compartilhamento de dados, a ENGIE enxerga uma oportunidade de mudar a forma como faz negócios, e a empresa está desenvolvendo um hub de dados vertical para fazer exatamente isso. A ENGIE historicamente tem adotado uma abordagem ascendente, com suas unidades de negócios prestando serviços para clientes em suas respectivas regiões. Porém, como muitos de seus serviços de energia são os mesmos, isso resulta em uma duplicação desnecessária de trabalho. “Nossa atividade de geração de eletricidade e, principalmente, nossa geração de energia renovável são basicamente idênticas em todas as regiões”, diz Wolowiec. “Podemos usar o Common Data Hub para criar casos de uso comuns em todo o mundo. A próxima etapa é apresentar cada vez mais abordagens descendentes, sobretudo para parques eólicos.” 

A ENGIE descobriu um valor significativo ao usar os produtos da AWS para desenvolver o Common Data Hub, permitindo que suas unidades de negócios globais coletem, compartilhem e analisem os dados de formas mais produtivas. As unidades de negócios da ENGIE ainda mantêm a autonomia, mas agora elas podem se beneficiar dos pontos fortes dos dados centralizados, obtendo insights importantes de casos de uso semelhantes, à medida que descobrem formas mais modernas e eficientes de energizar o mundo.


Sobre a ENGIE

A ENGIE é uma empresa de energia global com 25 unidades de negócios atuando no mundo. A empresa fornece energia a milhões de clientes e desenvolve soluções integradas pela cadeia de valor para apoiar a transição para carbono zero por parte de autoridades locais e corporações.

Benefícios da AWS

  • Coletou 200 TB de dados entre mil projetos
  • Automatizou as previsões energéticas
  • Aumentou a produtividade da unidade
  • Maximizou a produção de energia eólica

Produtos da AWS utilizados

Amazon Kinesis Data Streams (KDS)

O Amazon Kinesis Data Streams (KDS) é um serviço de streaming de dados em tempo real com escalabilidade massiva e resiliência. O KDS consegue capturar gigabytes de dados por segundo de centenas de milhares de fontes de maneira contínua. Os dados coletados são disponibilizados em milissegundos para possibilitar casos de uso de análise em tempo real, como painéis em tempo real, detecção de anomalias em tempo real, preço dinâmico e outros.

Saiba mais »

 

Amazon Redshift

O Amazon Redshift é o data warehouse em nuvem mais rápido do mundo e fica mais rápido a cada ano. O Redshift alimenta workloads analíticas para empresas da Fortune 500, startups e empresas intermediárias.

Saiba mais »

AWS Glue

O AWS Glue é um serviço de integração de dados sem servidor que facilita descobrir, preparar e combinar dados para análise, machine learning e desenvolvimento de aplicações. O AWS Glue oferece todos os recursos necessários para a integração dos dados, então é possível começar a analisar seus dados e usá-los em minutos, em vez de meses.

Saiba mais »

Amazon Athena

O Amazon Athena é um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão. Como o Athena é sem servidor, não há infraestrutura para gerenciar e você paga apenas pelas consultas executadas.

Saiba mais »


Comece a usar

Empresas de todos os portes em todos os setores estão transformando seus negócios diariamente usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a Nuvem AWS hoje mesmo.