A maioria das soluções de armazém de dados da concorrência custaria até 1 milhão USD por ano. Por outro lado, o Amazon Redshift custa apenas 100.000 USD, com tudo incluído, representando uma redução total de custos de aproximadamente 90%. 
Joel Cumming Diretor do departamento de dados

Um grupo de alunos talentosos da University of Waterloo, Canadá, criou a Kik Interactive em 2009. O serviço de sistema de mensagens da empresa, Kik Messenger, já é usado por mais de 275 milhões de assinantes, a maioria nos EUA. Além de oferecer funcionalidades de texto, imagem e mensagens de vídeo gratuitamente, o Kik Messenger tem um navegador integrado para pesquisar e acessar conteúdo na web. Além disso, a Kik oferece ferramentas para desenvolvedores, permitindo que as organizações otimizem e distribuam conteúdo web aos assinantes na sua plataforma.  

Para manter os assinantes atuais e promover um crescimento sustentável, a Kik precisa garantir a rapidez, a capacidade de resposta e a disponibilidade total do serviço de sistema de mensagens para os assinantes. Chris Fairles, diretor da equipe de desenvolvimento e operações (DevOps) da Kik, afirma: "Nossos assinantes dependem de nós para a entrega de todas as mensagens em tempo real. Essa é uma responsabilidade que levamos muito a sério. Para que nossos serviços sejam os melhores possíveis, investimos em tecnologias confiáveis, seguras e flexíveis o suficiente para acompanhar a evolução das necessidades dos assinantes."

Como desafio adicional, a Kik tem de ouvir seus assinantes para garantir que suas necessidades sejam atendidas com os mais recentes aprimoramentos de produto. "Temos uma grande quantidade de dados sobre nossos clientes e como eles usam nossos serviços. No entanto, esses dados frequentemente estão presos a arquivos de log ou a outros sistemas em toda a empresa", diz Fairles. "Para converter esses dados em informações empresariais reais, bem como garantir que todas as nossas decisões de desenvolvimento sejam baseadas em evidências sólidas, estamos investindo expressivamente nas mais recentes técnicas e tecnologias de big data."

Para oferecer a melhor experiência aos assinantes, a Kik usa uma combinação de servidores internos e uma infraestrutura hospedada na nuvem da Amazon Web Services (AWS). Fairles comenta: "Usamos a AWS para oferecer diversas funcionalidades aos usuários, de imagens de perfil e sistema de mensagens com imagens a mensagens de vídeo e gerenciamento de contas."

A arquitetura da Kik na AWS incorpora os serviços Amazon Elastic Compute Cloud (Amazon EC2), Amazon Simple Storage Service (Amazon S3) e Amazon Virtual Private Cloud (Amazon VPC). Além disso, o Amazon CloudFormation é usado para provisionar e implantar infraestrutura com base na nuvem sob demanda. "O uso do AWS CloudFormation nos permitiu adotar o que denominamos uma arquitetura de 'microsserviços', com toda a nossa infraestrutura da AWS definida como código", afirma Fairles. "Em breve, adotaremos também o Amazon CodeDeploy, que nos permitirá gerar pilhas de TI padronizadas com rapidez e facilidade, eliminando praticamente todas as atividades manuais."

A AWS permite que a Kik proporcione aos assinantes uma experiência de serviços rápida e com alta capacidade de resposta. "Usamos o Amazon Direct Connect para acelerar a troca de dados entre nossa server farm interna e a Nuvem AWS, reduzindo latência e instabilidades", comenta Fairles. "Também usamos o Amazon CloudFront e o Amazon Route 53 para entregar conteúdo aos pontos de presença mais próximos dos assinantes. Com isso, nossa aplicação ganha rapidez e capacidade de resposta, independentemente da localização dos usuários."

Além disso, a Kik usa uma arquitetura de microsserviços para criar uma plataforma sofisticada de análise de dados na AWS, fornecendo informações novas e com valor agregado à empresa e otimizando a experiência dos assinantes. Tudo isso, com base nos serviços Amazon EC2, Amazon S3 e Amazon VPC e na funcionalidade essencial de armazém de dados oferecida pelo Amazon Redshift.

Originalmente, os dados de origem para as atividades de análise vinham de centenas de terabytes de dados de arquivos de log, que eram armazenados em buckets do Amazon S3. Agora, o Amazon Elastic Map Reduce (Amazon EMR) e os scripts Pig do Hadoop são usados para resumir e processar os arquivos de log antes de carregá-los no Amazon Redshift, onde são submetidos a uma compactação adicional. "Começamos com 500 terabytes. Hoje, gerenciamos 50 terabytes de dados, o que facilita consideravelmente o nosso trabalho."  

A infraestrutura da AWS usada pela Kik incorpora o Auto Scaling, possibilitando que a empresa entregue serviços de sistema de mensagens e outros conteúdos com maior economia e pague apenas pelos recursos de computação e armazenamento usados. "A escala da nossa arquitetura na AWS é aumentada automaticamente durante os períodos de pico de tráfego. Quando o tráfego diminui, a escala é reduzida novamente", diz Fairles. "Isso significa que pagamos apenas pelos recursos de computação e armazenamento utilizados, o que aumenta consideravelmente a lucratividade da empresa em relação ao modelo anterior."

Além disso, a Kik conseguiu otimizar a disponibilidade dos serviços aos assinantes com a AWS. "Todos os componentes da nossa arquitetura na AWS são completamente redundantes. Isso significa que podemos manter os serviços on-line, mesmo quando ocorrem interrupções significativas de tecnologia", comenta Fairles. "Também usamos várias zonas de disponibilidade na AWS para garantir a disponibilidade constante da aplicação para os assinantes, mesmo se todo um datacenter da AWS ficar indisponível."  

O Amazon Redshift permite que a Kik Interactive obtenha informações importantes dos dados operacionais e de clientes. Joel Cumming, diretor de dados da Kik, diz: "Podemos ver como tipos diferentes de usuários interagem com nossos serviços e identificamos suas necessidades e preferências. Usamos essas informações como base para inspirar novos projetos de desenvolvimento, resolver problemas dos serviços, visar novos mercados, fornecer uma experiência personalizada e reduzir a rotatividade dos clientes."

A obtenção dessas informações é muito mais econômica com o Amazon Redshift, que permite eliminar requisitos de hardware, software e suporte internos. "A maioria das soluções de armazém de dados da concorrência custaria até 1 milhão USD por ano, considerando o custo da aquisição e a manutenção e o suporte recorrentes", afirma Cumming. "Por outro lado, o Amazon Redshift custa apenas 100.000 USD, com tudo incluído, representando uma redução total de custos de aproximadamente 90%."

Recentemente, uma atualização de hardware do Redshift, sem custo para a Kik, resultou em um aumento de 30% no desempenho do armazém de dados. "A AWS atualiza constantemente sua plataforma, o que nos permite entregar mais informações à empresa, com rapidez maior que a possível anteriormente", comenta Cumming. "Como resultado, podemos coletar mais dados de um número maior de origens e obter novas informações sobre as necessidades do cliente. Tudo isso, usando menos recursos."

A Kik implantou recentemente o AWS Lambda, que Cumming descreve como a "próxima fronteira" da análise de dados na empresa. "Estamos muito entusiasmados", afirma ele. "O AWS Lambda provisiona automaticamente a infraestrutura necessária para executar nossas aplicações de ciência de dados. Não precisamos mais nos envolver com esse provisionamento. Em vez de gastar tempo cuidando de servidores, podemos nos concentrar no que fazemos melhor: fornecer informações à empresa e aprimorar a experiência de nossos usuários."

Juntamente com o AWS Lambda, a Kik usa o Amazon API Gateway e o Amazon DynamoDB para oferecer aos serviços internos em toda a empresa acesso instantâneo aos dados necessários. "O API Gateway nos permitiu disponibilizar rapidamente modelos estatísticos complexos e personalização no nosso produto", diz Cumming. "Criamos a primeira iteração de nossa API de dados interna usando o DynamoDB, o Lambda, e o API Gateway com uma rapidez excepcional. Agora, os serviços na Kik podem ser personalizados e dimensionados de uma forma que seria impossível no passado."

Para saber mais sobre como a AWS pode ajudá-lo a reduzir o custo do gerenciamento de dados, visite a nossa página de detalhes de big data.