A BigDataCorp é uma empresa que trabalha com captura, armazenamento e estruturação de informação. Sediada no Rio de Janeiro, ela lida com todas as etapas de projetos e serviços orientados a BigData e Cloud Computing.
A empresa necessitava viabilizar o desenvolvimento de um de seus principais produtos - o BigWeb – em curto prazo e a custo reduzido de maneira a torna-lo competitivo no mercado.
O BigWeb é um agregador de informações que mostra de maneira simples dados importantes extraídos de mais de 250 milhões de domínios do mundo todo. A ferramenta permite que qualquer um possa descobrir, entender, comparar e analisar as informações disponíveis na Internet. Duas destas fontes de informações são os marketplaces dos aplicativos móveis "Apple Store" e "Google Play Store", que nos ajudam a entender melhor o cenário mobile no mundo inteiro.
Esse mapeamento completo de dezenas de milhões de dados online também dependia de uma infraestrutura escalável e estável, com a qualidade e disponibilidade da velocidade de conexão entre serviços assegurada.
Após avaliações de ofertas no mercado, os serviços de cloud computing da AWS destacaram-se quanto à escala possível de atingir com os processos distribuídos nas Spot Instances, assim como a velocidade de conexão disponível entre seus serviços, fatores cruciais à viabilização do projeto.
Desse modo, a aplicação foi totalmente construída na AWS desde sua concepção até a implementação em produção.
“Tínhamos uma necessidade de armazenamento e processamento de dados em volume extremamente alto. Sem a AWS nenhuma arquitetura nossa seria possível de ser feita em tempo e custo viáveis”, afirma Marcello Lins.
Desenvolvida nas linguagens C# / .NET e MongoDB, e incluindo serviços de Amazon SQS e Amazon S3 em seus workflows processuais, além de recorrer ao Amazon EC2, Amazon Route 53, Amazon Redshift e AWS IAM para montar sua infraestrutura em nuvem, a BigDataCorp pôde medir os benefícios adquiridos através desses serviços pela excelente relação custo/benefício. O arquiteto de software da empresa explica, ainda, que com os custos das Spot Instances, seus processos passaram a ter melhor custo benefício, quando anteriormente não tinham.
Marcello Lins aponta como uma das principais vantagens, proporcionadas pelas tecnologias da Amazon Web Services, a possibilidade de repassar um SLA “bastante agressivo para seus clientes já que quase não há downtime nos serviços da AWS”.
Além disso, ele ressalta que ao utilizar a AWS e a arquitetura distribuída via Amazon SQS, conseguiram capturar e processar dados de 1.1 milhão de aplicativos da Google Play Store em um intervalo de 24 horas.
Para saber mais sobre como a AWS pode ajudá-lo com suas necessidades de computação em nuvem, visite nossa página de conceitos básicos.
Saiba mais sobre os serviços destinados a projetos de Big Data na nuvem AWS.