O blogue da AWS

BigDataCorp Captura e Processa Dados de 1.1 milhão de aplicativos com AWS e Arquitetura Híbrida via SQS

“A AWS nos permite focar em nosso negócio, sem precisar se preocupar com contratação de equipe dedicada à manutenção e gerenciamento de recursos que não são o core do nosso negócio” – Marcello Lins, Arquiteto de Software da BigDataCorp.

 

Sobre a BigDataCorp

A BigDataCorp é uma empresa que trabalha com captura, armazenamento e estruturação de informação. Sediada no Rio de Janeiro, ela lida com todas as etapas de projetos e serviços orientados a BigData e Cloud Computing.

 

O Desafio

A empresa necessitava viabilizar o desenvolvimento de um de seus principais produtos – o BigWeb – em curto prazo e a custo reduzido de maneira a torna-lo competitivo no mercado.

O BigWeb é um agregador de informações que mostra de maneira simples dados importantes extraídos de mais de 250 milhões de domínios do mundo todo. A ferramenta permite que qualquer um possa descobrir, entender, comparar e analisar as informações disponíveis na Internet. Duas destas fontes de informações são os marketplaces dos aplicativos móveis “Apple Store” e “Google Play Store”, que nos ajudam a entender melhor o cenário mobile no mundo inteiro.

Esse mapeamento completo de dezenas de milhões de dados online também dependia de uma infraestrutura escalável e estável, com a qualidade e disponibilidade da velocidade de conexão entre serviços assegurada.

 

Por que a Amazon Web Services?

Após avaliações de ofertas no mercado, os serviços de cloud computing da AWS destacaram-se quanto à escala possível de atingir com os processos distribuídos nas Spot Instances, assim como a velocidade de conexão disponível entre seus serviços, fatores cruciais à viabilização do projeto.

Desse modo, a aplicação foi totalmente construída na AWS desde sua concepção até a implementação em produção.

“Tínhamos uma necessidade de armazenamento e processamento de dados em volume extremamente alto. Sem a AWS nenhuma arquitetura nossa seria possível de ser feita em tempo e custo viáveis”, afirma Marcello Lins.

Desenvolvida nas linguagens C# / .NET e MongoDB, e incluindo serviços de SQS e Amazon S3 em seus workflows processuais, além de recorrer ao Amazon EC2, Route 53, Amazon Redshift e IAM para montar sua infraestrutura em nuvem, a BigDataCorp pôde medir os benefícios adquiridos através desses serviços pela excelente relação custo/benefício. O arquiteto de software da empresa explica, ainda, que com os custos das Spot Instances, seus processos passaram a ser cost-effective, quando anteriormente não eram.

 

A Arquitetura

Google Play Crawler Diagram

Google Play Crawler Diagram

 

Apple Store Crawler Diagram

Apple Store Crawler Diagram

Benefícios

Marcello Lins aponta como uma das principais vantagens, proporcionadas pelas tecnologias da Amazon Web Services, a possibilidade de repassar um SLA “bastante agressivo para seus clientes já que quase não há downtime nos serviços da AWS”.

Além disso, ele ressalta que ao utilizar a AWS e a arquitetura distribuída via SQS, conseguiram capturar e processar dados de 1.1 milhão de aplicativos da Google Play Store em um intervalo de 24 horas.

 

Próximos Passos

Saiba mais sobre os serviços destinados a projetos de Big Data na Nuvem AWS.