HypeFlame constrói Data Platform do Agibank no ambiente AWS

2021

O Agibank, banco digital omnichannel, acelerou a sua jornada de transformação tecnológica a partir de 2017, sendo uma parte fundamental desse processo o armazenamento e acesso aos dados centralizados de clientes, produtos e operações da instituição. Para isso, a HypeFlame – empresa do grupo Agibank especializada em tecnologia e dados – desenvolveu uma Data Platform que vem sendo operada no ambiente AWS e oferece uma grande base de consumo aos usuários. Já o próximo passo é fornecer a solução criada para outros clientes e incentivar a adoção a data-driven.
Group of business people is working on new business strategy with a financial analyst while analyzing financial chart during meeting in the office.
kr_quotemark

Com os serviços AWS, tudo o que é feito é automaticamente auditado. Com isso, temos a possibilidade de dar autonomia para as áreas criarem seus processos. A área de negócio é a dona do dado e nós damos as ferramentas para que ela possa utilizá-lo da melhor maneira”.

Roberto Galvão
Chief Data Engineer da HypeFlame

Desafio

Orientar a organização para a tomada de decisão totalmente pautada em dados, em todos os seus níveis, foi ambição que levou o Agibank a centralizar as suas bases de informação. Ao longo do tempo, um legado de dados distribuídos foi sendo construído. Porém, o volume de operações cada vez maior, a crescente necessidade dos usuários por respostas com milhares de consultas sendo realizadas diariamente e a dificuldade em escalar a estrutura on-premises causavam impactos nos sistemas transacionais e, consequentemente, nas atividades de negócio.

Embora a escalabilidade tenha sido resolvida com a migração da estrutura para a nuvem da AWS, ainda era latente a necessidade de mais eficiência e agilidade no acesso aos dados. De acordo com Roberto Galvão, Chief Data Engineer da HypeFlame, a melhor opção era o desenvolvimento de um Data Lake dentro da nova estrutura.

No modelo on-premises algumas áreas de negócio tinham suas próprias bases de dados e, muitas vezes, acessavam bases de outras áreas, inclusive por meio de tecnologias diferentes. Na prática, para se obter uma informação era preciso ler dados de várias origens e gravá-los em um único local. Com o Data Lake, tudo estaria centralizado e a apenas um clique de distância.

“No final de 2018 fizemos uma prova de conceito que mostrava o que queríamos e como iríamos operar”, explica Galvão. Essa arquitetura foi apresentada pela HypeFlame à equipe da AWS, que validou o projeto, dando início ao desenvolvimento da HypeFlame Data Platform, que tem o Agibank com seu primeiro cliente.

Por que AWS

Galvão lembra que, naquele momento, a AWS apresentou um conjunto de serviços que atendia perfeitamente aos requisitos, contemplando desde a camada de infraestrutura até o front-end, sendo o projeto dividido em seis fases. “Com todas as fases finalizadas, a Data Platform está totalmente operacional e em uso pelo Agibank, já com as ferramentas de Business Intelligence integradas, em um conceito de Lake House, e oferecendo aos usuários internos uma grande base de dados para consumo, em um modelo self-service completo”, reforça o executivo.
 
Nesse período, os times da HypeFlame e da AWS construíram também uma nova gestão de dados, que continua em constante evolução. Recentemente, o modelo passou pela fase de amadurecimento da camada de segurança para o Data Lake, adicionando definições de áreas públicas e privadas e perfil individual de usuários, além do controle de acessos e auditoria. “Conseguimos ter uma visão global dos acessos à plataforma e acompanhar o que os usuários estão utilizando”, diz Galvão. A possibilidade de mapear os comportamentos e compartilhamentos também são uma métrica importante para futuras melhorias na experiência.
 
Pelo fato de o Data Warehouse estar integrado ao Data Lake, o volume de acessos vem crescendo constantemente e se tornou fundamental obter informações de navegação de baixa granularidade. Com a camada de auditoria, ganhou-se controle e precisão sobre o uso. “Isso vai nos trazer o benefício da otimização de tempo, já que poderemos escalar horizontalmente os sistemas conforme demanda”, prevê Galvão. Atualmente, a plataforma conta com mais de 200 usuários ativos e 100% das unidades de negócio habilitadas a consumirem os dados.
 
Nesse processo, a HypeFlame tem utilizado diversos serviços da AWS, como Amazon Simple Storage Service (Amazon S3), AWS Lambda, Amazon DynamoDB, AWS Glue e Amazon EMR, integrados com projetos open source Apache que, segundo Galvão, têm garantido mais autonomia às áreas de negócio. Isso porque essa integração dá aos usuários internos a possibilidade de criar seu próprio ecossistema sem que ele fique público para outras áreas.
 
O Data Lake da HypeFlame está dividido em duas zonas: uma tradicional, que concentra a grande massa de dados e inclui as visões de Data Warehouse, e outra, chamada de Fast Data, com atualização dos dados praticamente em tempo real. “Nossa expectativa é desligar toda a camada legada até o início de 2021. Não basta somente a gente fazer a migração, as áreas também precisam fazer suas próprias migrações. É uma transição natural”, comenta Galvão.

Benefícios

Além dos benefícios mais diretos, como flexibilidade, escalabilidade e controle de custos, o executivo lembra que, como foi desenvolvida, a Data Platform oferece às equipes gestoras um nível detalhado de informações sobre tudo o que acontece no dia a dia. “Com os serviços AWS, tudo o que é feito é automaticamente auditado. Com isso, temos a possibilidade de dar autonomia para as áreas criarem seus processos. A área de negócio é a dona do dado e nós damos as ferramentas para que ela possa utilizá-lo da melhor maneira”, comenta o gestor.

Em outra frente, com o uso da Data Platform, o Agibank aprimorou sua capacidade de avaliação de crédito. O uso de dados centralizados permite a criação de modelos que servem para avaliar a concessão de crédito e contratação de produtos. A centralização melhorou também o entendimento do perfil de clientes, uma vez que todas as informações gerenciais executivas passam pela base única. “No sistema legado não tínhamos o mesmo nível de informação. Hoje, tudo o que passa pela Data Platform é 100% quantificado”, pontua.

Com a utilização da HypeFlame Data Platform, os resultados obtidos não apenas evidenciam a transformação digital, mas fomentam a cultura data-driven da organização. “O processo de aprendizado é constante. Embora a evolução tenha sido muito grande em um curto espaço de tempo, essa jornada está ainda no início”, finaliza Galvão.

Próximos passos

O objetivo é disponibilizar a HypeFlame Data Platform para o mercado, possibilitando que outros players façam a transição para o meio digital e se tornem orientados a dados. A plataforma tem como premissas o foco em facilidade, simplicidade, autonomia, flexibilidade e escalabilidade, que foram os principais aspectos que levaram a HypeFlame a escolher os serviços da AWS. Em uma primeira visão, são disponibilizadas as seguintes funcionalidades: Data Connectors, Data Ingestion, Fast Data, Data API, Data Transformation, Data Monitor, Live Viz, Self-service, Lake House, Data Security, Data Catalog e Data Lake.


Sobre o Agibank

O Agibank é um banco obstinado pelo cliente e que incentiva diariamente os seus 4 mil empreendedores a ter atitude de dono, na crença de que colaboradores felizes são capazes de transformar e fazer o dia a dia das pessoas melhor. Digital sempre e presencial quando o cliente precisa, oferece produtos e serviços simples e acessíveis para descomplicar a vida financeira de milhares de brasileiros. Para quem prefere resolver tudo digitalmente tem aplicativo, internet banking, chat e uma central de relacionamento sempre disponível. Para quem não abre mão do atendimento olho no olho são quase 700 pontos de atendimento em todo o Brasil. No portfólio, serviços de conta corrente sem taxa de manutenção, cartão de débito e crédito, linhas de crédito, investimentos, consórcios e seguros. Por meio de uma rede de parceiros, disponibiliza mais de 30 mil terminais para saque e mais de 2 milhões de estabelecimentos credenciados para pagamento via QR Code.

Sobre a HypeFlame

A HypeFlame acredita que a tecnologia é o fogo do século XXI e com ela é possível realizar feitos notáveis. A empresa surgiu do spin-off da área de tecnologia do Agibank para permitir que todo o desenvolvimento ao longo de uma jornada de mais de 20 anos ajude outras empresas na sua jornada data-driven. Seu propósito é apoiar a transformação de negócios por meio do desenvolvimento de componentes e plataformas completas de integração de sistemas, engenharia de dados e cybersecurity capazes de acelerar empresas que queiram se tornar ágeis, orientadas a dados e centradas no cliente. Tudo isso para gerar impacto positivo na sociedade.

Benefícios com AWS

  • Centralização das bases de dados
  • Movimentação de dados 100% quantificada
  • Flexibilidade e escalabilidade
  • Segurança granular
  • Automatização do processo de auditoria
  • Centenas de relatórios criados pelos usuários internos
  • Aprimoramento do processo de avaliação de clientes e concessão de crédito


Serviços AWS utilizados

AWS Lambda

O AWS Lambda é um serviço de computação sem servidor que permite executar código sem provisionar ou gerenciar servidores.

Saiba mais »

Amazon DynamoDB

Amazon DynamoDB é um banco de dados de valor-chave e documento que oferece desempenho de milissegundos com um dígito em qualquer escala.

Saiba mais »

AWS Glue

AWS Glue é um serviço de integração de dados sem servidor que facilita descobrir, preparar e combinar dados para análise, machine learning e desenvolvimento da aplicação.

Saiba mais »

Amazon EMR

O Amazon EMR é a plataforma de big data em nuvem líder do setor para processar grandes quantidades de dados usando ferramentas de código aberto.

Saiba mais »


Comece agora

Empresas de todos os tamanhos e setores estão transformando seus negócios todos os dias usando a AWS. Entre em contato com nossos especialistas e comece hoje sua jornada na nuvem.