O Bendigo reduz os custos computacionais em 60% usando instâncias spot do Amazon EC2 e Amazon EMR

O provedor de serviços financeiros Bendigo and Adelaide Bank (Bendigo) iniciou sua jornada de transformação digital na Amazon Web Services (AWS) para que pudesse cumprir as normas de open banking da Austrália. Em março de 2020, o Bendigo migrou rapidamente 30 workloads não materiais para a nuvem, sustentada pela Amazon Elastic Compute Cloud (Amazon EC2), que fornece capacidade computacional segura e redimensionável para praticamente qualquer workload.

Desde a conclusão da migração inicial para a nuvem, o Bendigo se concentrou em otimizar suas arquiteturas, para que pudesse aumentar a economia de custos e melhorar o desempenho e a disponibilidade de suas ofertas digitais. Para equilibrar desempenho com economia de custos, o Bendigo começou a executar suas workloads não produtivas em instâncias spot do Amazon EC2, que permitem que os clientes aproveitem a capacidade não utilizada do Amazon EC2 na nuvem. O banco também alcançou maior resiliência e escalabilidade implementando outros recursos da AWS para workloads tolerantes a falhas. Com essa nova infraestrutura, o Bendigo reduziu seus custos computacionais em aproximadamente 60%, aumentou a resiliência de suas workloads em quase 30% e melhorou o desempenho de seu sistema bancário em aproximadamente 20%.

A visão do Bendigo é se tornar o banco preferido da Austrália, fornecendo transparência de dados e soluções bancárias simples a seus 2,1 milhões de clientes. O propósito do banco é promover a prosperidade de seus clientes e comunidades, não se alimentar dela. O Bendigo detém mais de US$ 83,4 bilhões em depósitos e atende a mais de 110 mil acionistas, além de empregar mais de 7 mil pessoas em 317 filiais.

Em maio de 2018, o governo australiano aprovou a legislação sobre Direitos de Dados do Consumidor, que exigia que todas as principais instituições financeiras estivem em conformidade com as práticas de open banking até julho de 2020. Essa legislação também significa que as instituições financeiras devem fornecer a seus clientes acesso e controle sobre seus dados pessoais. Diante dessas mudanças no setor, o Bendigo esperava um aumento na demanda em sua infraestrutura on-premises. Para se preparar, o banco decidiu passar por uma transformação digital usando a AWS.

O Bendigo escolheu a AWS como provedora de serviços em nuvem devido à maturidade de seus serviços e, em março de 2020, iniciou sua migração para a nuvem usando a AWS. O banco também começou a executar suas workloads com o Amazon EMR, uma solução de big data em nuvem usada para executar trabalhos de processamento de dados distribuídos em grande escala, consultas SQL interativas e aplicações de machine learning usando frameworks de análise de código aberto. Para atender às exigências do sistema de open banking, a empresa configurou clusters que a ajudariam a manter uma alta disponibilidade em seus sistemas bancários. Depois de concluir esse projeto, o Bendigo desejava melhorar sua arquitetura de nuvem e reduzir os custos computacionais executando seus clusters usando frotas de instâncias do Amazon EC2. "A economia de custos não era algo em que pensávamos inicialmente", diz Adam Hobbs, engenheiro de infraestrutura de desenvolvimento do Bendigo. "Mas percebemos que queríamos melhorar o desempenho de nossa arquitetura." Em 2021, a equipe do Bendigo entrou na segunda fase de sua jornada de transformação digital e começou a experimentar novas soluções e recursos para atender às necessidades computacionais do banco.

O Bendigo contratou a equipe da AWS para testar instâncias do Amazon EC2 que manteriam uma alta disponibilidade e otimizariam os custos computacionais. Durante esse período, a equipe do Bendigo testou as instâncias spot do Amazon EC2, que oferecem instâncias do Amazon EC2 a um preço mais baixo em comparação com as instâncias sob demanda do Amazon EC2. Como os desenvolvedores do Bendigo usam seu ambiente de não produção para iterar recursos de suas ofertas digitais, o banco identificou isso como uma área em que poderia reduzir os custos computacionais. Agora, o banco executa suas workloads que não são de produção inteiramente em instâncias spot. “As instâncias spot do Amazon EC2 têm sido uma forma eficaz de economizar nos custos computacionais e, ao mesmo tempo, manter uma workload elástica”, diz Leandro Silva, líder de dados do projeto de open banking no Bendigo. Ao fazer essas mudanças, o Bendigo reduziu seus custos computacionais em aproximadamente 60%.

O banco também testou diferentes instâncias do Amazon EC2 para executar seus clusters Amazon EMR e encontrou o melhor desempenho usando tipos diversificados de instâncias do Amazon EC2, que incluem combinações variadas de capacidades de CPU, memória, armazenamento e rede. Ao diversificar seus tipos de instâncias, o banco reduziu a probabilidade de interrupções de serviço e tempo de inatividade e tornou suas workloads mais tolerantes a falhas. “Passamos por etapas de configuração de diferentes tipos de instâncias”, diz Hobbs. “Passamos algum tempo com a equipe da AWS identificando quais tipos de instâncias têm a maior disponibilidade, o que proporcionou uma experiência muito melhor.” Sob esse novo modelo, o banco melhorou a resiliência de suas workloads quase em tempo real em aproximadamente 30%.

Os clusters Amazon EMR do Bendigo consistem em diferentes tipos de nós, que usam instâncias do Amazon EC2 para o planejamento da capacidade do cluster. “Estamos configurando nós principais”, diz Hobbs. “Passamos de um cluster de 5 nós para um cluster de 30 nós.” Para facilitar a escalabilidade efetiva do cluster, o banco implementou nós de tarefas, que podem ser ativados ou reduzidos para aumentar a capacidade conforme necessário e economizar nos custos computacionais. Desde então, a empresa cresceu para usar 60 nós centrais em seu ambiente de produção. Com diversos nós de tarefas, os clusters Amazon EMR do Bendigo podem usar outros nós de tarefas disponíveis em caso de falha, minimizando as interrupções do serviço e o tempo de inatividade. Ao aumentar a elasticidade de sua infraestrutura, o banco aumentou o desempenho de seu sistema em aproximadamente 20% e, ao mesmo tempo, reduziu os custos computacionais.

O Bendigo também começou a usar a escalabilidade gerenciada para o Amazon EMR, que redimensiona automaticamente seus clusters para obter o melhor desempenho com o menor custo possível. Usando escalabilidade gerenciada, a empresa pode gerenciar seus custos computacionais com mais eficiência, estabelecendo limites mínimos e máximos para sua capacidade computacional. "Obtemos insights mais profundos sobre nossas workloads, o que nos ajuda a monitorar nosso uso e nossos custos reais", diz Ash Austin, líder de prática de plataformas no Bendigo. "Trabalhar na nuvem nos ajuda a aprimorar nosso gerenciamento de riscos e vulnerabilidades em um ambiente altamente seguro, robusto e controlado", diz Austin. "A AWS tem sido excelente em ajudar nossa organização a encontrar as ferramentas certas para o trabalho e lidar com o cenário regulatório. Isso nos traz a experiência global de que precisamos para acelerar nossa jornada de transformação digital.”