A Apify fornece insights da Web para empresas e reduz custos de nuvem em 25% ao usar a AWS

A Apify, uma startup sediada em Praga e fundada em 2015, desenvolveu uma plataforma de automação e web scraping e um conjunto de ferramentas de código aberto que ajudam as empresas a aprimorar as operações ao coletar e analisar grandes volumes de dados da Web e automatizar processos da Web. A Apify usa a AWS desde o primeiro dia e aproveita os créditos e o treinamento oferecidos por meio do programa AWS Activate. A empresa se desenvolveu com rapidez e atualmente fornece serviços para mil organizações em 179 países. Ela também foi escalada para processar 1.000 TB de dados por mês, e teve uma redução dos custos de computação em 25% e um aumento da eficiência de sua equipe de desenvolvimento.

A Apify é uma empresa em rápido crescimento fundada em Praga em 2015. A empresa desenvolveu uma plataforma de automação e web scraping e um conjunto de ferramentas de código aberto que coletam dados da Web. Seus clientes usam os insights obtidos desses dados para aprimorar as estratégias em relação a qualquer coisa, desde a precificação de produtos até os sentimentos do cliente. 

Como uma startup, a Apify precisava de uma infraestrutura confiável e econômica que pudesse ser escalada com facilidade à medida que a demanda dos clientes aumentasse.  

Ao desenvolver sua oferta na Amazon Web Services (AWS), a empresa teve um rápido crescimento e, atualmente, fornece serviços para mil organizações em 179 países. Ela também foi escalada para processar 1.000 TB de dados por mês, e teve uma redução dos custos de computação em 25% e um aumento da eficiência de sua equipe de desenvolvimento. 

Escalabilidade para processar 20 milhões de trabalhos por mês usando o Amazon EKS

Os serviços da Apify são usados ​​pelos clientes para resolver uma ampla variedade de questões de negócios. Por exemplo, coleta de dados de preços de produtos para informar estratégias de vendas, rastreamento de conversas de consumidores sobre os recursos ou os bugs de produtos para aprimorar serviços ou automatização do processo de cancelamento de assinaturas de clientes.

As ferramentas de web scraping se integram com facilidade aos fluxos de trabalho da empresa e a saída de dados estruturados é exportada em qualquer formato, tornando-os instantaneamente legíveis por parte dos clientes. “Nossos serviços ajudam as empresas a mudar de estratégia com rapidez ou até mesmo desenvolver estratégias imediatas em mercados em rápida evolução”, afirma Marek Trunkat, chief technology officer (CTO) da Apify.

A abordagem da Apify faz com que ela tenha necessidade de processar grandes quantidades de informações rapidamente, para que os clientes possam acessar e analisar dados da Web com confiabilidade. Ela processa 20 milhões de trabalhos de automação da Web por mês usando o Amazon Elastic Compute Cloud (Amazon EC2) e o Amazon Elastic Kubernetes Service (Amazon EKS), um serviço de contêiner gerenciado para executar e escalar aplicações de Kubernetes na nuvem ou on-premises. A empresa também armazena cerca de 1,5 bilhão de resultados analíticos mensalmente usando o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos, bem como o Amazon DynamoDB, que é um banco de dados NoSQL de valor-chave totalmente gerenciado e com tecnologia sem servidor, e o Amazon ElastiCache, um serviço de armazenamento em cache na memória.

Lançamento com o AWS Activate e diminuição dos custos de nuvem em 25%

A Apify começou a usar a AWS por meio do AWS Activate, um programa que oferece gratuitamente às startups ferramentas e recursos para começar a usar a AWS. “O suporte que recebemos por meio do AWS Activate para créditos, treinamento e controle de custos foi um dos principais motivos pelos quais escolhemos a AWS”, diz Trunkat. “Não há dúvidas de que isso contribuiu para o nosso sucesso inicial.”

A empresa também gerenciou seu orçamento e reduziu os custos totais de nuvem em 25% ao usar as instâncias spot do Amazon EC2, que executam workloads tolerantes a falhas com um desconto de até 90%. “Em nosso mercado altamente competitivo, as empresas bem-sucedidas são aquelas que podem utilizar uma ideia diferente e escalá-la rapidamente”, diz Trunkat. “Conseguimos fazer isso usando as instâncias spot e o programa AWS Activate.”

A Apify se desenvolveu para atender a mais de mil clientes ativos enquanto opera com uma pequena equipe de engenharia e de DevOps. Ao usar a AWS, ela pode escalar com rapidez o throughput da API de 100 mil para 500 mil solicitações por minuto com a finalidade de atender à demanda dinâmica dos clientes.

Suporte para uma comunidade mundial de desenvolvedores

A Apify impulsionou o conhecimento sobre a nuvem e a eficiência da sua equipe de TI com materiais de aprendizado da AWS e dias de treinamento de imersão. Ao usar a AWS, a equipe dedica o mínimo de tempo possível a tarefas de manutenção e monitoramento da infraestrutura. Sendo assim, os engenheiros ficam liberados para usar as capacidades da nuvem no desenvolvimento de soluções inovadoras e oferecer suporte a outros desenvolvedores na criação das próprias ferramentas de web scraping. A Apify e sua comunidade de desenvolvedores criaram mil ferramentas de web scraping prontas para uso que estão disponíveis para os clientes por meio de uma loja online.

A startup até lançou uma iniciativa que permite que sua comunidade obtenha renda com essas ferramentas. O objetivo é que os desenvolvedores criem suas próprias ferramentas de automação, hospedem-nas na infraestrutura da Apify e, em seguida, aluguem essas ferramentas a terceiros. “A Apify pretende se tornar a plataforma e o marketplace líderes em ferramentas de automação e web scraping”, diz Trunkat. “Por saber como é fácil escalar na AWS e desenvolver serviços confiáveis ​​para os clientes, nos sentimos confiantes de que podemos alcançar nossas ambições de desenvolvimento.”