Por Amanda Quinto, Arquiteta de Soluções na AWS,
Rafael Silva, Product Owner na Unicred Brasil
Hugo Wannmacher, Especialista em BI na Unicred Brasil e
Rodney Júnior, Cientista de dados na Zallpy Digital.

Com mais de 30 anos no mercado brasileiro de cooperativas de crédito, a Unicred foi fundada com o objetivo de administrar os recursos do Sistema Unimed, confederação nacional das cooperativas médicas no Brasil. Hoje o sistema Unicred está presente em mais de 60% dos estados brasileiros, com mais de 220 mil associados ativos e cerca de 280 unidades de negócios.

Overview

A porcentagem de clientes que deixam de usar os produtos ou serviços de uma empresa durante um determinado período de tempo é chamada de Churn. Isso se tornou um problema significativo e é um dos principais desafios que muitas empresas em todo o mundo estão enfrentando, e vem aumentando consideravelmente ao longo tempo no setor financeiro, sendo impulsionado pela ascensão dos bancos digitais. Segundo a McKinsey, entre 2013 e 2018, as taxas de churn cresceram 13% em todo o mundo no setor.

O Desafio

Com o objetivo de encontrar respostas através de dados, a Unicred busca entender o perfil dos cooperados que se desassociam da cooperativa para prever a curva de churn futura e então para oferecer serviços que melhor atendem as necessidades para evitar o cancelamento.
Nesta jornada, a Unicred identificou também a possibilidade e entender o perfil dos associados para determinar o viés de compra dos clientes, de diferentes serviços como linhas de crédito pessoais, veículos ou seguros em geral através do uso de Machine Learning. O objetivo é utilizar algoritmos de ML para personalizar a oferta de produtos que tenham melhor aderência às necessidades dos clientes e aumentar as vendas.

A Solução

Utilizando dados históricos para fazer predições usando Machine Learning, a Unicred utilizou ferramentas AWS para construir uma infraestrutura escalável e resiliente.

Arquitetura

Para treinamento do modelo foi criado a arquitetura abaixo:

Figura 1: Arquitetura da solução

Abaixo, segue uma descrição de como cada um dos serviços opera para construir uma solução de fim a fim, desde as origens de dados até o consumo dos modelos e análises.

• Na primeira etapa da solução, Pentaho faz agregações de dados que Unicred possui no banco de dados PostgreSQL e envia esses dados para um Bucket Amazon S3 dentro da AWS.
• Na segunda etapa, usando AWS Step Functions para orquestrar o fluxo de trabalho “Load Product Info”, que usa o AWS Lambda para obter dados sobre os produtos e usa-los como variáveis para criar todos os outros recursos, como nomes de jobs do AWS Glue e jobs de Amazon Sagemaker. Este fluxo de trabalho termina usando AWS Glue Jobs para normatizar e limpar os dados, e no final inicia outro fluxo de trabalho “Train models”, para treinar os modelos;
• No fluxo de trabalho “Train Models”, o SageMaker Jobs treina 3 modelos diferentes. Após o treinamento, um Lambda é usado para selecionar o melhor modelo treinado e comparar com o modelo atual em produção, pesquisando no repositório de modelos MLFlow;
• Se um novo modelo tiver que ser eleito, o fluxo de trabalho aplica uma nova versão para o Sagemaker;
• No fluxo de trabalho “Generate Results”, o modelo aplicado é usado no modo em batch para gerar todas as previsões do modelo e, em seguida, carrega esses resultados em três fontes diferentes: Amazon S3, Dynamo DB e o banco de dados PostgreSQL usado como DW dentro de datacenters Unicred;
• Na etapa final, o usuário final consome as informações por meio de APIs usando Sensedia, AWS Lambda e os resultados no DynamoDB, e também usa o PowerBI para ver esses dados cruzados de resultados usando a abordagem multidimensional.

ML Flow

ML Flow é uma plataforma de código aberto para gerenciar o ciclo de vida de ML, incluindo experimentação, reprodutibilidade, implantação e um registro de modelo central. Durante o desenvolvimento do projeto, a necessidade de manter esta ferramenta se fez necessária, e para isto montamos a arquitetura a seguir para que o ML Flow seja executado de maneira escalável, resiliente e tolerante a falhas.

Figura 2: Arquitetua ML Flow

Voz do cliente

Nas palavras de Rafael Silva, Product Owner de BI e Analytics da Unicred, “Antes de reconstruir o projeto no AWS, estávamos treinando, limpando e processando dados e modelos dentro de nosso DC, em um pequeno grupo de VMs. Sem automações, sem possibilidade de re-treinamento sob demanda. Agora, com MLFlow com HA e resiliência, contêineres, backups automatizados e sem servidor, ganhamos tempo para construir novos recursos e desenvolver novos scripts de aprendizado de máquina, ao invés de pensar em SO e disponibilidade de recursos.”

Conclusão

Até o momento, os modelos melhoraram a propensão do cliente em comprar produtos financeiros em 9,6% (44% vindo de novos clientes). Considerando uma cooperativa filiada, o modelo ajudou a atuar proativamente na previsão do churn e redução de 30% no cancelamento dos cooperados.

Sobre os autores

Amanda Quinto é Arquiteta de Soluções da AWS no time de Public Sector com foco em Nonprofits Organization. Amanda já atuou em diversos projetos ajudando os times de desenvolvimento e sustentação em arquitetar sistemas resilientes e escaláveis. Formada pela FATEC-SP, é entusiasta de devops, machine learning, e apaixonada por kombis.

Rafael Silva é Product Owner na Unicred do Brasil, atua há cerca de 10 anos na área de Business Intelligence com experiências prévias no setor Financeiro e de Multimídia. Graduado em Ciência da Computação e MBA em Tecnologia para Negócios.

Hugo Stobienia Wannmacher é Especialista em Business Intelligence e Dados na Unicred, atua na área há mais de 20 anos com foco em dados e análises avançadas. Graduado em Gestão da Tecnologia da Informação.

Rodney Sales Nogueira Júnior é Cientista de Dados na Zallpy Digital, trabalhando com o time de Inteligência de negócios da Unicred. Msc em Ciência da Computação, com mais de 8 anos de experiência no setor de tecnologia da informação.