O blog da AWS
BigDataCorp Captura e Processa Dados de 1.1 milhão de aplicativos com AWS e Arquitetura Híbrida via SQS
“A AWS nos permite focar em nosso negócio, sem precisar se preocupar com contratação de equipe dedicada à manutenção e gerenciamento de recursos que não são o core do nosso negócio” – Marcello Lins, Arquiteto de Software da BigDataCorp.
Sobre a BigDataCorp
A BigDataCorp é uma empresa que trabalha com captura, armazenamento e estruturação de informação. Sediada no Rio de Janeiro, ela lida com todas as etapas de projetos e serviços orientados a BigData e Cloud Computing.
O Desafio
A empresa necessitava viabilizar o desenvolvimento de um de seus principais produtos – o BigWeb – em curto prazo e a custo reduzido de maneira a torna-lo competitivo no mercado.
O BigWeb é um agregador de informações que mostra de maneira simples dados importantes extraídos de mais de 250 milhões de domínios do mundo todo. A ferramenta permite que qualquer um possa descobrir, entender, comparar e analisar as informações disponíveis na Internet. Duas destas fontes de informações são os marketplaces dos aplicativos móveis “Apple Store” e “Google Play Store”, que nos ajudam a entender melhor o cenário mobile no mundo inteiro.
Esse mapeamento completo de dezenas de milhões de dados online também dependia de uma infraestrutura escalável e estável, com a qualidade e disponibilidade da velocidade de conexão entre serviços assegurada.
Por que a Amazon Web Services?
Após avaliações de ofertas no mercado, os serviços de cloud computing da AWS destacaram-se quanto à escala possível de atingir com os processos distribuídos nas Spot Instances, assim como a velocidade de conexão disponível entre seus serviços, fatores cruciais à viabilização do projeto.
Desse modo, a aplicação foi totalmente construída na AWS desde sua concepção até a implementação em produção.
“Tínhamos uma necessidade de armazenamento e processamento de dados em volume extremamente alto. Sem a AWS nenhuma arquitetura nossa seria possível de ser feita em tempo e custo viáveis”, afirma Marcello Lins.
Desenvolvida nas linguagens C# / .NET e MongoDB, e incluindo serviços de SQS e Amazon S3 em seus workflows processuais, além de recorrer ao Amazon EC2, Route 53, Amazon Redshift e IAM para montar sua infraestrutura em nuvem, a BigDataCorp pôde medir os benefícios adquiridos através desses serviços pela excelente relação custo/benefício. O arquiteto de software da empresa explica, ainda, que com os custos das Spot Instances, seus processos passaram a ser cost-effective, quando anteriormente não eram.
A Arquitetura
Google Play Crawler Diagram
Apple Store Crawler Diagram
Benefícios
Marcello Lins aponta como uma das principais vantagens, proporcionadas pelas tecnologias da Amazon Web Services, a possibilidade de repassar um SLA “bastante agressivo para seus clientes já que quase não há downtime nos serviços da AWS”.
Além disso, ele ressalta que ao utilizar a AWS e a arquitetura distribuída via SQS, conseguiram capturar e processar dados de 1.1 milhão de aplicativos da Google Play Store em um intervalo de 24 horas.
Próximos Passos
Saiba mais sobre os serviços destinados a projetos de Big Data na Nuvem AWS.