CNA moderniza estrutura de dados com Data Lake desenvolvido em plataforma AWS

Com 47 anos de experiência no ensino de inglês e espanhol, o CNA é uma das maiores redes de ensino de idiomas do país, com mais de 600 escolas em todo o território nacional. Como parte de sua jornada de transformação digital, e para suportar sua cultura de decisão direcionada a dados, a companhia sentiu a necessidade de modernizar sua infraestrutura de dados e analytics evoluindo para uma arquitetura mais ágil e escalável, construída sobre um Data Lake utilizando a plataforma AWS.

Com quase 50 anos de atuação no ensino de inglês e espanhol no Brasil, a CNA é hoje uma das maiores redes de ensino de idiomas do País. Ao todo, são 635 escolas que atendem mais de 400 mil alunos, utilizando uma metodologia moderna que explora elementos presenciais e a distância, além de inovadores recursos tecnológicos, que inserem o idioma no cotidiano do aluno a fim de proporcionar fluência ao falar, ler, escrever e compreender a língua mais naturalmente.

Há alguns anos a instituição vem adotando uma cultura direcionada a dados. Para isso, criou uma estrutura on-premises, baseada em um data warehouse próprio. Com intensificação de sua jornada de transformação digital, e o crescimento da demanda dos stakeholders por mais digitalização, o CNA viu a necessidade de adotar uma arquitetura mais ágil, escalável e alinhada a estas novas demandas.

De acordo com o head de Data & Analyics da CNA, Guilherme Pompeo, o objetivo era criar uma estrutura que atendesse as complexidades da instituição de forma economicamente eficiente e escalável. “Precisávamos de mais velocidade na transformação das informações, na incorporação em dashboards e no consumo em análises, além de consolidar melhores práticas de transformação na camada de analytics”, explica.

O projeto também deveria possibilitar a integração com soluções de ML/IA, trazer mais flexibilidade para ingestão e transformação de informações de diversas fontes e formatos e mais confiabilidade do processo de ingestão de dados. Outros objetivos incluíam a centralização e visibilidade de todos os data assets, a potencialização das integrações e relacionamentos entre as informações e dar mais visibilidade e controle a cada etapa do processo de analytics, garantindo maior controle e gestão a todo o processo.

Para atender todos estes requisitos, o CNA decidiu pela criação de um Data Lake em nuvem e, para isso, iniciou a busca pelo provedor ideal.

Do processo de seleção dos parceiros ideais para o projeto, foram definidos três: AWS, BRLink e Deal Technologies. “A AWS forneceu as soluções de nuvem e tecnologias serverless que nos permitiram desenvolver um data lake robusto, flexível e com uma estrutura de custo competitiva”, explica Pompeo, lembrando que a BR Link assumiu a construção dos ambientes na nuvem de forma segura e eficaz, criando toda a infraestrutura de conectividade entre os ambientes CNA e a mecânica de ingestão de dados.

O executivo lembra que a etapa final do processo ficou com a Deal Digital, que ajudou o CNA a construir um pipeline de transformação de dados alinhado aos conceitos e necessidades de negócio. Além das camadas de analytics, a Deal também deu suporte à modernização dos reportes de BI – em Power BI – alavancando os novos recursos de back-end analítico. 

Ao final do projeto, o CNA passou a contar com um Data Lake na nuvem utilizando tecnologias serverless e uma arquitetura preparada para ingerir dados estruturados e não estruturados. Essa arquitetura está capacitada para entregar uma camada de apresentação de dados consistente para os mais diversos propósitos, desde reportes de BI até insumos para modelos de Machine Learning, passando pela retroalimentação de sistemas transacionais e de negócios, com o CRM.

Para isso, o Data Lake é suportado por uma série de serviços AWS, tais como AWS Database Migration Services (AWS DMS), Amazon Simple Storage Service (Amazon S3), Amazon Athena, Amazon Redshift, AWS Lambda, Amazon Elastic Compute Cloud (Amazon EC2) e Amazon Simple Email Service (Amazon SES).

Já implementado, o Data Lake CNA conta hoje com todos os dados unificados e atualizados automaticamente, utilizando a tecnologia do Amazon Redshift Spectrum, juntamente com os dados armazenados no Amazon S3,  que é um ambiente com um custo de armazenamento otimizado. Esses dados são transformados dentro do cluster do Amazon Redshift, o que traz uma performance melhor e os disponibiliza para o desenvolvimento dos dashboards na plataforma de Business Intelligence (BI) do CNA.

“Hoje temos um pipeline de dados desenhado completamente para atender as necessidades da CNA de forma transparente e gerenciável, com flexibilidade e agilidade para respondermos as demandas futuras”, diz Pompeo.