Como o Sicoob está monitorando bilhões de transações financeiras na AWS

Por Amanda Quinto, Arquiteta de Soluções Senior AWS e Felipe Pereira, Líder de Tecnologia da Informação no SICOOB.

Com mais de 28 anos de história, o Sicoob é o maior sistema de cooperativas financeira brasileiro, com um portfolio que abrange várias linhas de negócio, como: Conta Corrente, Crédito, Seguradora, Cartões, entre outros. Dentre as premiações que frequentemente tem recebido, em 2023, foi eleita um dos melhores bancos do Brasil de acordo com a Forbes. O Sicoob conta com mais de 8,4 milhões de cooperados em todo o Brasil, estando presente em todos os estados brasileiros, sendo a única instituição financeira em mais de 400 municípios.

Visão geral do setor financeiro

Foi instituído no Brasil em 2020 um modelo de pagamentos instantâneos (PIX) que aumentou as transações per capita no sistema financeiro em 87% (de 242 para 453) no período de 2 anos. Em 2021 uma nova onda de inovação financeira se iniciou no Brasil, chamada de Open Finance. Com o compartilhamento mútuo de informações financeiras entre instituições, chegando em 42 milhões de consentimentos de acordo com a Febraban, o tráfego e as transações dos serviços também cresceram exponencialmente.

Desafio

Em janeiro de 2021 o Sicoob monitorava em seu ambiente on-premises aproximadamente 100 milhões de transações financeiras por dia e com expectativas de crescimento acima de 30% ao ano.
Este ambiente até então, fazia uso de tecnologias modernas e compatíveis com a necessidade, porém, apresentava limitações no horizonte de sustentação para comportar o crescimento contínuo desta volumetria, entre elas: o crescimento vertiginoso de áreas de storage de alta densidade e o uso de máquinas que já se aproximavam do end-of-life.

Diante disso, o Sicoob entendeu que esta situação poderia ser endereçada com a inserção deste ambiente na jornada para nuvem e escolheu AWS como seu principal Cloud Service Provider.

Solução

Como uma instituição financeira robusta, o Sicoob é composto por várias aplicações que são fontes de dados e devem ser monitoradas. Esses sistemas incluem, dentre outros, o seu core banking, seus canais e o openfinance. Considerando que seria necessário uma transição entre a plataforma de monitoramento legada e a nova na AWS, foi desenvolvido um componente agregador on-premisses para facilitar o processo de centralização, controle e envio de dados para o novo ambiente em nuvem.

Tendo como meta o desenvolvimento de uma nova plataforma de monitoração que endereçasse as preocupações existentes, visando também modernizar este ambiente com o uso de tecnologias modernas e que permitisse integrar com as rotinas de Business Inteligence (BI), reduzindo o time to market de novas implementações de maneira ágil e segura, foi desenhada uma arquitetura composta pelo Amazon MSK, Amazon EMR, Amazon S3, Amazon OpenSearch Service, Amazon ECS e Amazon Managed Grafana.

Arquitetura

Imagem 1: Arquitetura da solução

O Amazon MSK, um serviço totalmente gerenciado de Apache Kafka, foi implementado para fazer interface de ingestão das mensagens enviadas a partir do ambiente on-premises, disparadas pelo componente agregador mencionado anteriormente, iniciando o processamento de tais mensagens.

O Amazon EMR é um serviço que facilita o processamento de grandes quantidades de dados usando o Apache Hadoop. Neste caso, ele é utilizado para o enriquecimento de mensagens por meio de aplicações Spark. Após o enriquecimento, a mensagem é postada em um tópico específico do Kafka (Amazon MSK) e em um bucket do S3 no formato parquet, já com a mensagem enriquecida.

Adicionalmente, foi implementado um Logstash, que é uma solução open source de agregação de logs e dados, em um cluster do Amazon ECS em modo Fargate, onde os recursos são provisionados e destruídos sob demanda, para envio dos dados para um cluster Amazon OpenSearch. O Amazon Opensearch, que possibilita a execução de análise de logs e monitoração em tempo real, além de integrações com soluções como o Grafana, para a visualização de métricas através de dashboards interativos. Esses dashboards fornecem dados de negócio, servindo como fonte do monitoramento 24/7 do Sicoob, contribuindo para tomada de decisão de forma ágil e consciente.

Em um fluxo paralelo, não em tempo real, utilizamos o Amazon S3 como repositório de armazenamento duradouro dos dados. Essa topologia garante alta durabilidade e disponibilidade das informações e estabelece um Data Lake para o SICOOB. Com isso, os dados podem ser consumidos também de forma assíncrona pelo analítico através de ferramentas como o Amazon Athena e o Glue Data Catalog.

Voz do Cliente

“Com este projeto, tivemos a oportunidade de exercitar a implementação de um workload bastante sensível às nossas operações, envolvendo grande volume de dados na nuvem e isso nos proporcionou acelerar nossa jornada. Tivemos muitas atividades assertivas neste projeto, mas também houve dificuldades e erros, contudo, pudemos aprender com eles e no final sair com uma solução aderente às nossas necessidades e expectativas e a AWS tem sido nosso parceiro nesta jornada de adoção de nuvem no Sicoob, apoiando nossos times técnicos em todos os aspectos.”

Felipe Pereira, Líder de TI no Sicoob.

Conclusão

Através do uso de serviços gerenciados AWS, o Sicoob observou um aumento de 400% no número de transações monitoradas diariamente (de 100 para 400 milhões), com segurança e mantendo os custos sob controle. A flexibilidade do ambiente AWS permitiu ainda ao cliente aumentar o tempo de retenção desses dados, chegando a armazenar 12 bilhões de mensagens por mês.

Próximos Passos

Este projeto foi um dos primeiros passos da jornada para nuvem do Sicoob, que tem uma ampla estratégia de uso de tecnologias em nuvem, que contempla seu ambiente analítico, utilizando também outras tecnologias de empresas parceiras da AWS, como: Databricks, Denodo e Confluent.

Sobre os Autores

Amanda Quinto é Arquiteta de Soluções da AWS no time de Public Sector com foco em Setor Financeiro. Amanda já atuou em diversos projetos ajudando os times de desenvolvimento e sustentação em arquitetar sistemas resilientes e escaláveis. Formada pela FATEC-SP, é entusiasta de Kubernetes, Cloud Native e Engenharia de Plataforma.

Felipe Pereira é profissional com mais de duas décadas de experiência dedicada à tecnologia e segurança da informação, tendo atual com gerenciamento de equipes, projetos e áreas em empresas de diversos setores da economia, tais como: Tecnologia da Informação, Educação e Financeiro. Neste caminho, exercendo papeis distintos, tem constantemente desenvolvido habilidades para lidar com diversas disciplinas, as quais é possível destacar: Cloud Computing, Gestão de Infraestrutura Tecnológica e Segurança da Informação, além da docência universitária. Dentre outras, é certificado CISSP e mestre em Gestão Estratégia de TI pela Universidad Europea del Atlántico.