Processamento de dados dez vezes mais rápido usando o Amazon Redshift sem servidor com a BlocPower

Fundada em 2014, a BlocPower é uma líder sediada no Brooklyn que se concentra em tornar as cidades norte-americanas mais verdes, inteligentes e saudáveis. Com uma força de trabalho diversificada e inclusiva, composta por 60% de minorias e 30% de mulheres, a equipe da BlocPower fornece análises de energia para gerentes e proprietários de edifícios em mais de dez cidades, ajudando-os a entender o potencial da reforma dos respectivos edifícios com fontes de energia renováveis. Em 2022, a BlocPower implementou com sucesso medidas de eletrificação, energia solar e outras de eficiência energética em mais de 4.000 edifícios.

Desde 2016, a BlocPower vem construindo seu pipeline de processamento de dados na AWS, adotando várias soluções de computação baseadas em nuvem, incluindo o Amazon Elastic Compute Cloud (Amazon EC2), que fornece capacidade computacional segura e redimensionável para praticamente qualquer workload. Inicialmente, a equipe de DevOps escalou o pipeline de processamento de dados selecionando diferentes instâncias do Amazon EC2 para executar os clusters, o que poderia levar de 2 a 3 horas para ser concluído. “À medida que conquistávamos mais clientes no BlocMaps e trabalhávamos com mais dados, precisávamos escalar nosso cluster horizontalmente”, diz Ankur Garg, diretor de arquitetura e análise de dados da BlocPower.

A empresa também migrou os dados para uma combinação de soluções de armazenamento de dados baseadas em nuvem, incluindo o Amazon Redshift, um data warehouse em nuvem rápido, simples e amplamente usado. O BlocPower armazena os dados coletados de 100 milhões de perfis de construção no Amazon Simple Storage Service (Amazon S3), que oferece armazenamento de objetos criado para recuperar qualquer quantidade de dados de qualquer lugar. À medida que a complexidade dos perfis de dados do BlocPower crescia, a empresa queria aumentar o acesso a mais recursos de computação e opções de gerenciamento de recursos para as equipes. A startup estava interessada nos benefícios do Amazon Redshift sem servidor e envolveu a equipe da AWS. “A equipe da AWS nos fez uma apresentação sobre o Amazon Redshift sem servidor, o que foi muito útil e resolveu qualquer tipo de apreensão que tínhamos ao seu uso no futuro”, diz Sean Davis, arquiteto de dados da BlocPower.

A equipe da BlocPower trabalhou com a equipe da AWS para criar uma prova de conceito e ver como o Amazon Redshift sem servidor afetaria o desempenho e o manuseio do aumento do volume de dados do BlocMaps. “Fizemos testes de benchmark com o BlocMaps, e foi isso que realmente nos surpreendeu”, diz Davis. “Nossa aplicação teve um desempenho muito melhor e nosso faturamento se beneficiou com o Amazon Redshift sem servidor.” Especificamente, a startup pôde processar e consultar os dados em minutos — dez vezes mais rápido, em comparação com a arquitetura anterior.

Depois disso, a BlocPower decidiu adotar o Amazon Redshift sem servidor. Dessa forma, a empresa reduziu o tempo gasto pela engenharia de DevOps na escalabilidade dos clusters. Além disso, ao implementar o Amazon Redshift sem servidor junto com o Amazon S3 e o Amazon Redshift, a BlocPower adquiriu a capacidade de consultar os dados em várias fontes de dados, incluindo os buckets do Amazon S3 e dados extraídos com APIs remotas por meio do AWS Glue, que ajuda as empresas a descobrir, preparar e integrar todos os dados em praticamente qualquer escala. O BlocPower executa os processos intermitentemente para mesclar as fontes de dados e realizar as transformações de dados. Em seguida, a equipe carrega os resultados no Amazon Redshift. Depois de apresentar os clusters do Amazon Redshift sem servidor que escalam automaticamente para picos de uso, o BlocPower melhorou o desempenho do runtime em um fator de dez. “Podemos consultar nossos dados quase em tempo real”, diz Davis. “Também observamos uma melhoria em nossas APIs. Com esses dois fatores, o uso do Amazon Redshift sem servidor se tornou óbvio.”

Esses ganhos de desempenho no back-end da aplicação BlocMaps proporcionaram uma experiência de usuário mais ininterrupta para os clientes da BlocPower. Ao usar o Amazon Redshift, a startup também reduziu a latência no front-end da aplicação, um aspecto fundamental ao demonstrá-la para novos clientes. Os clientes podem visualizar, filtrar e visualizar métricas de descarbonização para edifícios em localizações geográficas específicas com mais rapidez do que antes. No modelo anterior, a aplicação BlocMaps podia levar de 20 a 30 segundos para carregar os perfis da construção para os clientes. Agora, a aplicação fornece esses insights em menos de 5 segundos, uma melhoria que resultou em feedback positivo do cliente. “O desempenho das aplicações BlocMaps é uma das nossas prioridades mais altas do ponto de vista da receita”, diz Garg. “As excelentes indicações nos ajudam a entrar em novos mercados e novas cidades.”

A BlocPower não apenas aumentou as oportunidades de receita, mas a startup também otimizou os custos de computação. Depois de adotar o Amazon Redshift sem servidor, a BlocPower não paga mais pelo tempo ocioso dos clusters. “O modelo sem servidor foi perfeito para nós”, diz Davis. “Pagamos menos pelos nossos processos e obtemos mais recursos de computação quando precisamos. No geral, foi uma experiência muito positiva.”

A BlocPower continuará investigando as soluções sem servidor da AWS para melhorar o desempenho dos produtos. Com base na experiência com esse projeto, a empresa planeja também migrar os dados da Internet das Coisas que ela coleta para o Amazon Redshift sem servidor. “O tempo que levaríamos para fornecer insights com base nos dados brutos teria sido inimaginável se tivéssemos tentado configurar nossa infraestrutura on-premises”, diz Garg. “Trabalhar com a AWS tem sido uma grande vantagem para nós. A quantidade de tempo e dinheiro que economizamos nos ajuda a fornecer insights sobre energia para outras famílias de baixa e moderada renda.”