Histórias de clientes/Energia e serviços de utilidade pública

2021
Logotipo da Engie

ENGIE desenvolve o Common Data Hub na AWS e acelera a transição para a economia zero carbono

A ENGIE, uma empresa global de serviços públicos, desenvolveu seu data lake Common Data Hub na AWS, possibilitando que suas unidades de negócios coletassem e analisassem dados para oferecer suporte a uma estratégia orientada por dados e liderar a transição para a economia zero carbono.

200 TB

de dados coletados em mil projetos

Automatização

de previsões de energia

Aumento da produtividade

em todas as unidades de negócios

Maximização

da produção de energia do parque eólico

Visão geral

A base de clientes global descentralizada da ENGIE acumulou muitos dados e necessitava de abordagens e soluções mais inteligentes e exclusivas para alinhar suas iniciativas e fornecer dados que pudessem ser ingeridos, organizados, governados, compartilhados e acionados em suas unidades de negócios globais.

Em 2018, a ENGIE decidiu acelerar sua transformação digital por meio de dados e inovação, tornando-se uma empresa orientada por dados. Primeiro, a ENGIE quis desenvolver um repositório de dados empresarial chamado Common Data Hub para alinhar seus clientes e suas unidades de negócios em torno da mesma solução. O Common Data Hub ajudou as unidades de negócios da ENGIE a ingerir, armazenar, compartilhar e consumir conjuntos de dados com facilidade, por meio de uma plataforma unificada e um ambiente altamente protegido, permitindo, por fim, que a empresa aumentasse a produtividade, fizesse previsões de produção de energia precisas e levasse novos serviços aos clientes.

A ENGIE usou a Amazon Web Services (AWS) para criar o Common Data Hub, uma solução personalizada desenvolvida com um data lake distribuído globalmente e soluções de análise na AWS. O Common Data Hub capacita as equipes a inovar ao simplificar o acesso aos dados e fornecer um conjunto de ferramentas de análise abrangente. O AWS Professional Services ofereceu suporte à ENGIE no projeto e na implementação da solução, além de auxiliar na criação de uma equipe de serviço interna (chamada de equipe data@ENGIE), que é responsável pela evolução e operação da plataforma Common Data Hub.

Oportunidade | Identificação da necessidade de dados mais inteligentes

Os clientes da ENGIE são muito diversificados, incluindo desde clientes varejistas até grandes empresas e cidades, entre outros. A empresa oferece cada vez mais suporte à capacidade dos clientes de gerar a própria eletricidade com ativos descentralizados, inclusive painéis solares e usinas eólicas. À medida que caminhava para a descentralização, a ENGIE começou a perceber que seus sistemas, aplicações e produtos de software de planejamento de recursos empresariais de processamento de dados precisavam ser atualizados. A empresa precisava de um método uniforme de coletar e analisar dados para ajudar os clientes a gerenciar suas cadeias de valor. “Precisamos usar dados para medir o consumo e prever os volumes de produção de eletricidade que dependem da previsão meteorológica, por exemplo”, diz Gregory Wolowiec, líder da equipe de tecnologia que orienta o desenvolvimento e a entrega de programas de dados da ENGIE. Wolowiec também menciona problemas de isolamento e inconsistências entre os países: “Todas as soluções eram diferentes de um país para o outro; não havia compartilhamento entre as diferentes partes da organização. Para nós, tornou-se muito importante sermos capazes de coletar e compartilhar os dados de maneira simplificada em qualquer lugar do planeta”.

Yves Le Gélard, diretor digital da ENGIE, explica o propósito da empresa: “Para a ENGIE, a sustentabilidade é o alfa e o ômega de tudo. Esta é a nossa raison d’être. Ajudamos grandes corporações e as maiores cidades do planeta em seus esforços de transição para o carbono zero o mais rápido possível, porque esta é a principal questão da humanidade hoje”.

O diretor de dados do grupo ENGIE, Gérard Guinamand, acrescenta: “No que diz respeito aos dados, nossa estratégia está diretamente ligada a nosso propósito. Se quisermos direcionar e fornecer uma transição para carbono zero, precisaremos primeiro reunir dados sobre o que está acontecendo. Isso inclui dados sobre a quantidade gerada de dióxido de carbono, onde é gerado e como tudo isso se relaciona com temas ambientais, como o clima, a temperatura e o tamanho da população. Todos esses dados precisam ser armazenados, coletados e computados para que você possa mensurar o progresso e seguir um roteiro.”

Qualquer que fosse o método adotado pela ENGIE precisava ter um alto nível de segurança e estar em conformidade com as regulamentações em todo o mundo. Enquanto preparava uma prova de conceito, a empresa explorou uma variedade de soluções com provedores em nuvem locais e globais. “Nós nos convencemos de que a AWS era uma boa solução por diversos motivos, incluindo o modelo de custo e, principalmente, em termos de armazenamento de dados”, afirma Wolowiec. Assim, a ENGIE começou a empreender seu grande projeto de dados na AWS em meados de 2018.

Soluções | Desenvolvimento do Common Data Hub e implantação da solução no mundo todo

Wolowiec descreve o Common Data Hub como “o data lake colaborativo e distribuído que permite à ENGIE armazenar e compartilhar dados, além de criar valor com eles.” Ele foi desenvolvido utilizando o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. A solução também usa o Amazon Redshift, um serviço de data warehouse em escala de petabytes totalmente gerenciado na nuvem que é capaz de consultar dados semiestruturados no data lake do Amazon S3, demonstrando a abordagem lake house para data warehousing.

Como a solução usa o Amazon Redshift, os clientes podem implantar data warehouses com segurança em seus ambientes Common Data Hub e fazer uso de análises. Com o gerenciamento dos clusters do Amazon Redshift no Common Data Hub, os administradores das unidades de negócios da empresa podem ser adicionados aos projetos do Common Data Hub e acessar com facilidade os conjuntos de dados no data lake do Amazon S3, além de desenvolver insights valiosos com o catálogo completo de conjuntos de dados do Common Data Hub. O Common Data Hub usa o Amazon Redshift para dois tipos diferentes de acesso aos dados. Ele usa o Amazon Redshift Spectrum para consultas diretas aos buckets do S3 do Common Data Hub e usa o Amazon Redshift como um data warehouse provisionado com seu próprio armazenamento interno. “Contamos com o recurso Amazon Redshift Spectrum para estabelecer a relação entre o data lake do Amazon S3, gerenciado pelo Common Data Hub, e o data warehouse do Amazon Redshift”, afirma Wolowiec.

Outros produtos da AWS envolvidos no Common Data Hub incluem o Amazon Kinesis Data Streams (Amazon KDS), um serviço de transmissão de dados em tempo real altamente escalável e durável. O uso do Amazon KDS possibilita que a ENGIE colete, processe e analise facilmente dados transmitidos de dispositivos de Internet das Coisas em tempo real, o que significa que a empresa pode coletar rapidamente as informações que utiliza para desenvolver insights. O AWS Glue, um serviço de extração, carregamento e transformação (ETL) totalmente gerenciado para um repositório de metadados, auxilia ainda mais na transferência e limpeza dos dados. O Amazon Athena, um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão, possibilita que as unidades de negócio da ENGIE visualizem dados. E para obter mais insights dos dados, a ENGIE conta com o Amazon SageMaker, um serviço totalmente gerenciado que oferece a todos os desenvolvedores e cientistas de dados a capacidade de desenvolver, treinar e implantar modelos de machine learning rapidamente.

Para facilitar e simplificar a adoção do Common Data Hub em todo o mundo, a ENGIE forneceu modelos e documentação de aceleração para ajudar os administradores de suas unidades de negócios a visualizar o valor dos dados coletados e acessar os dados no data lake distribuído. O Common Data Hub também possibilita altos níveis de governança e segurança de dados. Os produtores de dados podem compartilhar e controlar o acesso a conjuntos de dados e fluxos de trabalho, enquanto os consumidores podem solicitar acesso e consumir dados.

A integração dos produtos da AWS proporcionou uma solução segura, ágil e escalável para a ENGIE. Agora, as diferentes unidades de negócios podem usar a estrutura da maneira que precisarem, sem abrir mão de nada que seja essencial para as operações. A facilidade de uso e a automação permitem às unidades de negócios da ENGIE aumentar a produtividade com rapidez após desenvolver a solução Common Data Hub na AWS. Também há impactos ambientais positivos: a ENGIE usa dados para obter o máximo de energia possível das usinas eólicas, ajudando a aumentar a eficácia dessa importante fonte de energia renovável. “Fornecemos as ferramentas adequadas para que as entidades possam se concentrar na criação de valor em vez de dedicar tempo para tratar de questões técnicas”, afirma Wolowiec. Até o momento, a ENGIE coletou 200 TB de dados configurados no Common Data Hub.

Resultados | Viabilização de uma abordagem padronizada de cima para baixo

O Common Data Hub forma o alicerce da estratégia orientada por dados da ENGIE ao possibilitar a comunidade de dados entre tecnologia da informação e usuários de negócios, além de acelerar o aumento da alfabetização em dados em todos os níveis da ENGIE e ajudar a otimizar processos internos ou criar novos serviços orientados por dados. Todas as unidades de negócios agora estão capacitadas com uma solução exclusiva para desenvolver aplicações orientadas por dados com mais rapidez. Atualmente, a ENGIE tem mais de mil projetos no Common Data Hub em andamento no mundo. O Common Data Hub oferece uma solução realmente coesa, pois elimina silos e permite que cada departamento se beneficie de acesso igual ao framework comum.

Com seu novo método de coleta e compartilhamento de dados, a ENGIE enxerga uma oportunidade de mudar a forma como faz negócios, e a empresa está desenvolvendo um hub de dados vertical para fazer exatamente isso. A ENGIE historicamente tem adotado uma abordagem ascendente, com suas unidades de negócios prestando serviços para clientes em suas respectivas regiões. Porém, como muitos de seus serviços de energia são os mesmos, isso resulta em uma duplicação desnecessária de trabalho. “Nossa atividade de geração de eletricidade e, principalmente, nossa geração de energia renovável são basicamente idênticas em todas as regiões”, diz Wolowiec. “Podemos usar o Common Data Hub para criar casos de uso comuns em todo o mundo. A próxima etapa é apresentar cada vez mais abordagens descendentes, sobretudo para parques eólicos.”

A ENGIE descobriu um valor significativo ao usar os produtos da AWS para desenvolver o Common Data Hub, permitindo que suas unidades de negócios globais coletem, compartilhem e analisem os dados de formas mais produtivas. As unidades de negócios da ENGIE ainda mantêm a autonomia, mas agora elas podem se beneficiar dos pontos fortes dos dados centralizados, obtendo insights importantes de casos de uso semelhantes, à medida que descobrem formas mais modernas e eficientes de energizar o mundo.

Sobre a ENGIE

A ENGIE é uma empresa de energia global com 25 unidades de negócios atuando no mundo. A empresa fornece energia a milhões de clientes e desenvolve soluções integradas pela cadeia de valor para apoiar a transição para a economia zero carbono por parte de autoridades locais e corporações.

Produtos da AWS usados

Amazon Kinesis Data Streams (KDS)

O Amazon Kinesis Data Streams (KDS) é um serviço de streaming de dados em tempo real com escalabilidade massiva e resiliência. O KDS pode capturar gigabytes de dados por segundo de centenas de milhares de fontes de maneira contínua.

Saiba mais »

Amazon Redshift

O Amazon Redshift é o data warehouse em nuvem mais rápido do mundo e fica mais rápido a cada ano. O Redshift alimenta workloads analíticas para empresas da Fortune 500, startups e empresas intermediárias.

Saiba mais »

AWS Glue

O AWS Glue é um serviço de integração de dados com tecnologia sem servidor que facilita a descoberta, a preparação e a combinação de dados para análise, machine learning e desenvolvimento de aplicações. 

Saiba mais »

Amazon Athena

O Amazon Athena é um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão. Como o Athena é sem servidor, não há infraestrutura para gerenciar e você paga apenas pelas consultas executadas.

Saiba mais »

Explore a jornada de inovação da ENGIE usando a AWS

Mais histórias da ENGIE

1

nenhum item encontrado 

Comece a usar

Organizações de todos os portes, em todos os setores, estão transformando seus negócios e cumprindo suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a AWS hoje mesmo.