Inteligência Artificial no Mercado Financeiro

Por Pedro Pisa, Diretor Executivo da Solvimm

12 de setembro de 2022: Este blogpost foi atualizado para refletir o novo nome do AWS Single Sign-On (SSO) – AWS IAM Identity Center. Leia mais sobre a mudança de nome aqui.

Sobre a Navi

A Navi é uma gestora de fundos de investimento especializada em ações de empresas brasileiras, com aproximadamente R$ 5 bilhões de recursos sob gestão. Fundada em 2018 pelo time de equities da Kondor Invest após um histórico de dez anos de sucesso, a empresa é conhecida por sua forte cultura de estudo: seus times buscam entender profundamente as empresas nas quais investem.

O Desafio

A Navi busca incessantemente investimentos de alto retorno para seus clientes, combinando profundo conhecimento e experiência sobre o mercado brasileiro com análise eficiente de dados. Com um excelente track record de mais de dez anos, a Navi acredita que processos de dados robustos contribuem de forma significativa para o aumento do retorno de suas aplicações. Assim, em 2019, criou a área de Data Science para aperfeiçoar seu processo de análise de ações.

A Bolsa de Valores brasileira conta com mais de 300 ações listadas entre 11 setores, de modo que o processamento de grandes volumes de informação era um dos desafios pivotais do novo setor. Além disso, contando com uma equipe enxuta e capacitada, os membros do departamento de Data Science precisavam criar Data Pipelines robustos e automatizados.

“Cobrindo praticamente todos os setores da bolsa, o nosso desafio é automatizar todos os nossos processos de dados para que a nossa equipe consiga focar em construir novos projetos e estudos”, afirma Antonio Lobato, sócio e head da equipe de Data Science. “Precisávamos criar sistemas que funcionassem sem necessidade constante de intervenção humana”, conclui Antonio.

Para enfrentar este desafio, o uso de computação em nuvem era o caminho a ser seguido. “Existem muitos custos operacionais escondidos na administração de infraestrutura. O uso de serviços gerenciados é um componente fundamental do modo de trabalho do nosso departamento”, adiciona Carlos Domingues, head de Infraestrutura e DevOps.

A Solução

Depois de estudar o desafio, o departamento de Data Science decidiu que componentes gerenciados seriam uma parte essencial dos fluxos de dados a serem construídos. “Avaliamos outras plataformas e concluímos que a AWS possui a melhor oferta de serviços relacionados a análise e processamento de grandes quantidades de dados”, lembra Carlos.

Para criar pipelines reprodutíveis e performáticos, a equipe decidiu construir um Data Lake e um Data Warehouse com arquitetura Multi-Hop, na qual dados brutos são armazenados juntamente com dados semi-estruturados e estruturados. Esta arquitetura foi possibilitada através do uso de vários componentes serverless da AWS, tais como Amazon S3, AWS Glue Data Catalog, Amazon Aurora Serverless e Amazon Athena. O uso de serviços gerenciados da AWS também faz com que seja mais simples cuidar da segurança e observabilidade dos projetos desenvolvidos.

Além disso, o time decidiu construir pipelines orientados a microsserviços, encapsulando as operações em contratos pré-definidos e facilitando a comunicação entre diversos projetos. Nessa arquitetura, a Navi consegue ter reduções de custos significativas através do uso de Spot Instances e Auto Scaling Groups, uma vez que os fluxos de dados não possuem requerimentos fortes de SLA de alta disponibilidade.

A imagem mostra a arquitetura utilizada com mais detalhes. Microsserviços são executados em contêineres, que utilizam o Hashicorp Nomad como orquestrador e Spot Instances do EC2 em um Auto Scaling Group como workers. Os Microsserviços coordenam as interações com o Data Lake, que é implementado através de buckets do S3 e metadados catalogados pelo Glue Data Catalog. O processamento de dados é feito por clusters do Databricks rodando na AWS e os dados processados são consultados utilizando o AWS Athena. Finalmente, dados agregados são armazenados em um Data Warehouse que é implementado utilizando o Amazon Aurora Serverless.

A Navi já está coletando os benefícios da arquitetura rodando na AWS. “Usando serviços da AWS e uma arquitetura baseada em microsserviços conseguimos criar um ambiente onde nossos data scientists passam a maior parte do tempo criando novos projetos e acrescentando inteligência em nossas análises”, comemora Antonio.

Para garantir que todo o ambiente esteja de acordo com as melhores práticas e princípios do Well Architected Framework, a Navi buscou a Solvimm, empresa parceira de consultoria da AWS com experiência em diversos projetos, para apoiar o time de Data Science na implementação do framework e na utilização dos componentes da AWS seguindo as melhores práticas de segurança, como mostra o diagrama acima. Utilizando o AWS Config foi possível automatizar a auditoria e notificação de recursos que estejam em desacordo com políticas de segurança internas. Além disso, o AWS Guard Duty monitora constantemente os fluxos de rede e logs de utilização para detecção de possível uso indevido ou ataque. O Security Hub é utilizado para provisionar uma visão unificada do estado de cada ambiente. Finalmente, foi implementado um processo de integração de identidades e login único integrado ao Diretório da empresa através do AWS IAM Identity Center (sucessor do AWS Single Sign-On). “Nesse trabalho com a Solvimm conseguimos implementar excelentes práticas de segurança sem a burocracia de processos tradicionais”, afirma Carlos.

O Resultado

Em 2019, a estratégia Long Only superou em 9,74% seu benchmark, o índice Ibovespa. “Este novo jeito de organizar e analisar dados possibilitou discussões mais embasadas e com um nível de detalhe que antes não seriam possíveis de modo eficiente”, diz Felipe Campos, sócio e membro da equipe de gestão da Navi.

A Navi possui hoje mais de 25 projetos de Data Science em produção na AWS. “Mesmo com um time enxuto, conseguimos entregar muito valor para os processos de análise de empresas. Isso porque temos pipelines de entrega maduros e gastamos pouco tempo com atividades operacionais e manutenção”, afirma Antonio. O tempo médio de desenvolvimento de um projeto é cerca de duas semanas.

Outro benefício encontrado no uso de serviços da AWS foi a facilidade de gerenciar custos utilizando uma arquitetura com elementos serverless e escaláveis. “Quando começamos o departamento decidimos nos comprometer com um budget. Graças a todas as economias e otimizações possibilitadas pela AWS, só batemos esse budget mais de um ano depois”, ressalta Carlos.

A execução do Well Architected Framework também trouxe diversos benefícios em outros pilares além de segurança. “A AWS possui muitos serviços diferentes, além de lançar novos serviços a todo instante. O apoio do nosso parceiro, a Solvimm, é essencial para que nossa arquitetura se mantenha sempre atualizada, utilizando o cutting edge do que a AWS é capaz de oferecer”, complementa Carlos.

Próximos Passos

Com cada vez mais demandas, a Navi continuará ampliando a quantidade de projetos de Data Science e aprimorando a qualidade da infraestrutura já existente. “O time de dados está sempre trabalhando para que a Navi continue investindo em boas ideias,”, ressalta  Antonio. Através do estudo do Well Architected Framework, Carlos e Antonio pretendem aumentar cada vez mais o uso de serviços gerenciados da AWS, sempre com o auxílio de seus parceiros da Solvimm. Uma próxima etapa é o aprimoramento da análise da saúde de cada um dos projetos e serviços em execução, através dos serviços Amazon Cloudwatch e AWS App Mesh. Esses serviços permitem um acompanhamento constante do tempo de execução de cada análise e de eventuais erros e falhas ocorridas, possibilitando uma rápida e efetiva atuação do time da aplicação.

A Solvimm é um Parceiro de Consultoria de nível Advanced da AWS Partner Network. Além de ser parte do Programa de Well Architected, também fazem parte do Programa de Setor Público e contam com a especialização de AWS Lambda e AWS CloudFormation.