Com novo Data Lake na nuvem AWS, Grupo Comerc desenvolve cultura Data Driven

Em pleno processo de digitalização de seus processos, o Grupo Comerc, um dos líderes no mercado brasileiro de energia livre, concluiu em 2021 a criação de seu Data Lake suportado pelos serviços de nuvem da AWS. Com o novo Data Lake, a companhia inicia uma nova jornada, agora suportada por um ambiente que vai permitir a criação e o desenvolvimento de uma cultura Data Driven, fomentando a análise de dados com método científico como ponto de partida para a tomada de decisões mais ágil e efetiva.

Com 20 anos de história, o Grupo Comerc experimentou, com a criação da DOC88, um avanço importante no uso de tecnologia como driver de crescimento da companhia. Essa experiência fez com que o número de aplicações e tecnologias em uso aumentasse consideravelmente nos últimos cinco anos. Some-se a isso o aumento na carteira de clientes, tornando o ambiente heterogêneo em aplicações e bancos de dados, que armazenam uma quantidade cada vez maior de dados estruturados e não estruturados produzidos pela operação.

O Data Tech Lead da Darede, Jackson Ribeiro, lembra também da necessidade de centralizar os dados de sistemas como o Protheus, o PowerView e o Salesforce. Os dados de cada um deles eram vistos isoladamente, dificultando que a companhia fizesse uma análise integrada.  A pandemia trouxe um desafio adicional a toda equipe da DOC88: suportar a operação em home office mantendo o mesmo nível de disponibilidade da operação provido antes no cenário corporate office. Nesse momento o grupo adotou a estratégia de migração de suas aplicações virtualizadas do ambiente on-premises para o ambiente Cloud, decisão que constituiu um passo decisivo para a companhia em função da estabilidade atingida com a adoção da estratégia. Junto criou-se o cenário perfeito para a adoção de novos serviços Cloud integrados ao ambiente on-premises, principalmente os relacionados a Data Lake.

De acordo com o CTO (Chief Technology Officer) do Grupo Comerc, Octavio Moreira Batista, a companhia tinha alguns objetivos, como ter uma fonte única de informação, confiável, com dados atualizados e de toda a companhia. “O grupo está crescendo e gera essa demanda. As pessoas resolviam isso por meio de planilhas, um formato que já está superado. Precisávamos resolver também questões de governança e segurança da informação”, diz, lembrando que veio daí a demanda para o projeto do Data Lake com algumas áreas piloto.

“O financeiro primeiro, depois veio a área comercial e gestão de consumidores. Começamos a construir a arquitetura e, nessa construção, fomos buscar parceiros que pudessem nos assessorar em todos os sentidos, tanto na ferramenta como no conceito de funcionamento, oferecendo disponibilidade e também governança e segurança”, afirma. Para atender esta demanda, a DOC88 adotou como estratégia a busca dos parceiros de negócio Darede, especialista em escrituração, e Triple-S, focada em ambientes on-premises e nuvem AWS, para formulação do projeto Data Lake Comerc.

Alex Fonseca, Chief Product Owner da DOC88, lembra que até março do ano passado toda a operação do grupo era on-premises. “Foi a Triple-S, com VMware Cloud, que nos deu confiança para sair de nosso ambiente e levar isso para a AWS. Para uma empresa de energia, foi uma decisão extremamente arrojada”, lembra. Uma vez na nuvem, veio a decisão de criar um projeto para levar os sistemas transacionais (ERP, CRM e atendimento ao cliente), convergi-los em único sistema e criar um ambiente de Data Lake.

O desenvolvimento do Data Lake foi declarado como requisito basilar para que a arquitetura de suporte a operação fosse 100% Cloud Service e predominantemente AWS, motivado principalmente pela presença dos sistemas transacionais nessa mesma nuvem. “Vimos que a AWS tinha o que precisávamos, tanto que este foi o projeto que mais seguiu dentro do compasso e do previsto. Avaliamos outros players, mas a decisão natural e mais tranquila foi a AWS”, ressalta, lembrando que, mesmo com a possibilidade de rodar o Data Lake em diversas clouds, a AWS segue sendo a melhor opção em termos de custo e funcionalidades.

Com duração de dez meses, do kick off até a formalização da última entrega, o projeto foi dividido em quatro fases, cada uma com escopo definido e validado junto às áreas de negócios: transferência de dados; regras de compliance de acesso aos dados; front end para usuários de negócio (Power BI); e infraestrutura de machine learning. Essa divisão permitiu que, durante sua execução, todos os conceitos propostos na etapa de arquitetura pudessem ser validados e os ajustes necessários, realizados.

Fonseca explica que o plano foi montado em outubro do ano passado. “Do ponto de vista de infraestrutura sempre tivemos a necessidade de convergir diferentes sistemas. Tínhamos o cadastro de clientes sincronizado em dois sistemas diferentes, o que tornava complexo fazer consultas, por exemplo. Precisávamos de uma estrutura que entregasse convergências de dados”, diz.

Nesse contexto, o Data Lake do Grupo Comerc é hoje baseado em serviços como o AWS Database Migration Service (AWS DMS), o Amazon Athena, o AWS Lake Formation e o Amazon SageMaker integrados via Transit Gateway com o ambiente de virtualização de servidores VMWare Cloud, formando a seguinte arquitetura:

Com a criação do Data Lake na infraestrutura da AWS, a DOC88 atingiu o objetivo de criar um ambiente de infraestrutura tecnológica que suporta todas as necessidades de análise de dados requeridas pelas áreas de negócios do Grupo Comerc. Isso criou um ambiente favorável para o desenvolvimento da cultura Data Driven dentro da companhia, pilar considerado estratégico para o crescimento e cumprimento dos objetivos de negócio do grupo.

Antes da implementação do Data Lake, o tempo de análise e a abrangência das análises era restrita a sistemas em separado e com alto consumo de recursos de processamento, em concorrência com demais sistemas transacionais da companhia tornado seu uso não estimulado pela companhia. Em outra frente, Batista lembra que as áreas de negócios reduziram tremendamente o uso de planilhas, com muitas delas sendo eliminadas.

“Combatemos a cultura de muitas planilhas, muitas vezes com informações divergentes. Tivemos muitos impactos positivos com o Data Lake, inclusive como viabilizador de projetos futuros que temos em vista”, reforça, lembrando que hoje a Comerc tem uma cultura orientada a dados baseada no projeto de construção do Data Lake. Isso fica claro na percepção sobre o crescimento do uso do Data Lake. “Entre julho e novembro deste ano experimentamos um crescimento do uso do Data Lake, que tem sido utilizado por diversas áreas da companhia”, revela.

Jackson Ribeiro ressalta também que hoje o Grupo Comerc conta com todos os dados centralizados. “A ingestão dos dados é feita de forma simples. As ferramentas que já tínhamos continuaram a ser utilizadas e agora temos mais possibilidades de inovação. Com o Data Lake e base centralizada, podemos colocar uma camada de machine learning sobre isso para fazer análises preditivas e não apenas descritivas”, afirma.

Batista reconhece que a transformação pela qual o Grupo Comerc vem passando não aconteceria sem o Data Lake, e isso vale para projetos futuros. O CTO revela que ele também será a base para futuros projetos de segurança. “O Data Lake vai nos ajudar bastante a centralizar e organizar o acréscimo de segurança na permissão que temos hoje no file server. Vamos trazer para dentro do Data Lake e fazer uma gestão que não fazíamos”, revela.

Outra previsão é de que o Data Lake passe a permitir que os desenvolvedores criem algoritmos em um ambiente que consiga analisar todos os dados disponíveis. “Temos um produto de IoT cuja coleta de dados é volumosa: hoje não temos restrição de ambiente para que a equipe de intelligence possa executar e desenvolver qualquer algoritmo. Esse é um avanço trazido pelo Data Lake”, comemora.

Outro projeto, este lembrado por Jackson Ribeiro, é o desenvolvimento de uma camada de ETL. “Depois vamos trabalhar na criação de uma camada de machine learning. Isso já foi alinhado, mas está em fase de maturação. É algo que a própria nuvem permite. Aqui o céu acaba sendo o limite”, diz.

Já Fonseca ressalta o fato de que o Grupo Comerc é composto hoje por pelo menos 11 verticais. “O uso do Data Lake começou com um dos negócios da companhia e estamos replicando o mesmo modelo para outras empresas do grupo”, diz, lembrando que isso é possível graças ao domínio das tecnologias envolvidas. “Fizemos dentro de casa, expandimos dentro de casa e estamos pensando em como expandir para o mercado”, afirma.