BigDataCorp Captura e Processa Dados de 1.1 milhão de aplicativos com AWS e Arquitetura Híbrida via SQS

“A AWS nos permite focar em nosso negócio, sem precisar se preocupar com contratação de equipe dedicada à manutenção e gerenciamento de recursos que não são o core do nosso negócio” – Marcello Lins, Arquiteto de Software da BigDataCorp.

 

Sobre a BigDataCorp

A BigDataCorp é uma empresa que trabalha com captura, armazenamento e estruturação de informação. Sediada no Rio de Janeiro, ela lida com todas as etapas de projetos e serviços orientados a BigData e Cloud Computing.

O Desafio

A empresa necessitava viabilizar o desenvolvimento de um de seus principais produtos – o BigWeb – em curto prazo e a custo reduzido de maneira a torna-lo competitivo no mercado.

O BigWeb é um agregador de informações que mostra de maneira simples dados importantes extraídos de mais de 250 milhões de domínios do mundo todo. A ferramenta permite que qualquer um possa descobrir, entender, comparar e analisar as informações disponíveis na Internet. Duas destas fontes de informações são os marketplaces dos aplicativos móveis “Apple Store” e “Google Play Store”, que nos ajudam a entender melhor o cenário mobile no mundo inteiro.

Esse mapeamento completo de dezenas de milhões de dados online também dependia de uma infraestrutura escalável e estável, com a qualidade e disponibilidade da velocidade de conexão entre serviços assegurada.

Por que a Amazon Web Services?

Após avaliações de ofertas no mercado, os serviços de cloud computing da AWS destacaram-se quanto à escala possível de atingir com os processos distribuídos nas Spot Instances, assim como a velocidade de conexão disponível entre seus serviços, fatores cruciais à viabilização do projeto.

Desse modo, a aplicação foi totalmente construída na AWS desde sua concepção até a implementação em produção.

“Tínhamos uma necessidade de armazenamento e processamento de dados em volume extremamente alto. Sem a AWS nenhuma arquitetura nossa seria possível de ser feita em tempo e custo viáveis”, afirma Marcello Lins.

Desenvolvida nas linguagens C# / .NET e MongoDB, e incluindo serviços de SQS e Amazon S3 em seus workflows processuais, além de recorrer ao Amazon EC2, Route 53, Amazon Redshift e IAM para montar sua infraestrutura em nuvem, a BigDataCorp pôde medir os benefícios adquiridos através desses serviços pela excelente relação custo/benefício. O arquiteto de software da empresa explica, ainda, que com os custos das Spot Instances, seus processos passaram a ser cost-effective, quando anteriormente não eram.

A Arquitetura

Google Play Crawler Diagram

Apple Store Crawler Diagram

Benefícios

Marcello Lins aponta como uma das principais vantagens, proporcionadas pelas tecnologias da Amazon Web Services, a possibilidade de repassar um SLA “bastante agressivo para seus clientes já que quase não há downtime nos serviços da AWS”.

Além disso, ele ressalta que ao utilizar a AWS e a arquitetura distribuída via SQS, conseguiram capturar e processar dados de 1.1 milhão de aplicativos da Google Play Store em um intervalo de 24 horas.

Próximos Passos

Saiba mais sobre os serviços destinados a projetos de Big Data na Nuvem AWS.