A Ogury e o desafio de atender às crescentes necessidades de análises e, ao mesmo tempo, otimizar os custos

Para enfrentar o desafio de analisar mais dados sem fazer explodir os custos de infraestrutura, a Ogury usou instâncias Spot do EC2, possibilitando uma reduzir de 57% nos custos dos clusters EMR de big data.

A equipe queria escalar sua infraestrutura, acompanhando o desenvolvimento muito rápido dos negócios e, ao mesmo tempo, controlando os custos e libertando-se do gerenciamento da infraestrutura básica.

Quando a escalabilidade e a otimização dos custos andam de mãos dadas

Todos os dias, a Ogury analisa dezenas de terabytes provenientes de 400 milhões de perfis em todo o mundo que consentiram em compartilhar esses dados. Esses dados são filtrados, normalizados e analisados em um datalake. As lições aprendidas com essas análises permitem a ativação de estratégias de publicidade. Diante da necessidade de otimizar o custo de execução dessas ações, a Ogury recorreu à AWS enquanto escalava. No verão de 2015, a Ogury havia migrado completamente para a AWS.

Com a AWS, tudo já está pronto. Por exemplo, usamos rapidamente o Amazon EMR. Estávamos começando a analisar um grande volume de dados e precisávamos desse serviço para economizar tempo e evitar o gerenciamento de clusters de big data por conta própria", explica Olivier Bazoud.
Ao mudar para a AWS, a Ogury queria fazer muito mais em termos de velocidade e volume, sem aumentar as despesas proporcionalmente. O trabalho intenso na otimização dos serviços utilizados permitiu que eles alcançassem essa meta.

Analisar mais dados, sem fazer explodir os custos de infraestrutura

O Amazon EMR permite que a Ogury analise dados, com o primeiro passo voltado para a limpeza dos dados: limpeza dos dados, remoção das duplicatas, normalização dos dados e sua posterior agregação. Em segundo lugar, com machine learning ou estatísticas, a Ogury deduz informações em nível superior, como faixas etárias, o que ajuda na segmentação de campanhas.

Todos os dados, que compreende vários petabytes, são armazenados em um serviço gerenciado do Amazon S3, o que proporciona à Ogury um serviço confiável e uma certa facilidade de uso, pois o Amazon EMR lê diretamente desse espaço de armazenamento. Os produtos são instalados em instâncias do Amazon EC2, em microsserviços ou no back-office. "O uso de instâncias Spot do Amazon EC2 nos permitiu obter economias significativas, reduzindo os custos dos nossos clusters EMR de big data em 57%", observa Olivier Bazoud.

A Ogury coleta e analisa os dados da jornada de cliente dos seus usuários, combinando-os com bancos de dados NoSQL do Amazon DynamoDB para obter consentimento. "Usamos isso como um banco de dados gerenciado, o que nos economiza tempo", explica Olivier Bazoud. Podemos nos concentrar em ajudar os desenvolvedores, sem precisarmos otimizar o banco de dados. Ele é emparelhado com o tráfego, o que torna possível escalar para manter a carga."

O Amazon Redshift é o data warehouse da Ogury e possibilita consultar esses dados, realizar estudos ou conhecer a segmentação de campanhas para determinados usuários (que são anonimizados).

Finalmente, a Ogury arquiva seus dados no Amazon S3 Glacier e usa as Instâncias reservadas do Amazon EC2 para, mais uma vez, reduzir os custos. "Também trabalhamos muito com a AWS para otimizar os custos no Amazon CloudFront. Os dados que analisamos usam muita largura de banda para chegar até nós, e isso tem um custo significativo no processo."

Capacidade de resposta e melhoria do tempo de entrada no mercado

"A AWS nos apoiou em nosso dimensionamento. Teria sido complicado fazer isso sem eles e ainda mais complicado fazer tudo por conta própria no local, por exemplo. Não teríamos tido a mesma velocidade de implementação. No entanto, o desenvolvimento da empresa foi muito rápido e tínhamos que acompanhar a infraestrutura. Apenas a AWS poderia acompanhar", disse Olivier Bazoud.

A Ogury também está melhorando seu tempo de entrada no mercado. Cerca de uma centena de funcionários trabalham em pesquisa e desenvolvimento, com um produto cuja essência é baseada em tecnologia. "Com a AWS, podemos ir mais rápido do que a concorrência. Isto é uma melhoria contínua, e estamos no modo ágil. A equipe de desenvolvimento lança novos recursos a cada duas semanas ou mais. " Para Olivier Bazoud, a Ogury precisa da capacidade de resposta dos serviços da AWS.

Manter os objetivos de crescimento graças a uma infraestrutura sólida
"Para gerenciar essa infraestrutura entre quatro regiões, com um imenso tráfego, a equipe é bastante pequena. Apoiamos o crescimento e o dimensionamento da Ogury, e é isso que a AWS nos permite fazer com segurança. Não houve sequer um momento em que a infraestrutura tenha retardado o crescimento dos negócios. Isso já não é mais um obstáculo ao desenvolvimento de uma empresa, como pode ser o caso de modelos antigos ou antes que existisse a nuvem e quando a implantação era contada em meses. Se a Ogury tem a escala e o crescimento que vemos hoje, é porque a infraestrutura tem sustentado esse crescimento exponencial."