Apify fournit des informations web aux entreprises et réduit les coûts du cloud de 25 % grâce à AWS

Apify, une start-up basée à Prague et fondée en 2015, a développé une plateforme d'automatisation et de web-scraping ainsi qu'un ensemble d'outils open-source qui aident les entreprises à améliorer leurs opérations en collectant et en analysant de grands volumes de données web et en automatisant les processus web. Apify utilise AWS depuis le premier jour, bénéficiant de crédits et de formations dans le cadre du programme AWS Activate. La société a connu une croissance rapide et fournit actuellement des services à 1 000 organisations dans 179 pays. Elle a également évolué pour traiter 1 000 To de données par mois, réduit ses coûts de calcul de 25 % et renforcé l'efficacité de son équipe de développement.

Apify est une entreprise en pleine croissance fondée à Prague en 2015. La société a développé une plateforme de web-scraping et d'automatisation ainsi qu'un ensemble d'outils open-source qui collectent des données sur le web. Ses clients utilisent les informations obtenues à partir de ces données pour améliorer leurs stratégies, qu'il s'agisse du prix des produits ou du sentiment du client. 

En tant que start-up, Apify avait besoin d'une infrastructure fiable et rentable capable d'évoluer facilement à mesure que la demande des clients augmentait.  

En développant son offre sur Amazon Web Services (AWS), l'entreprise a connu une croissance rapide et fournit désormais des services à 1 000 organisations dans 179 pays. Elle a également évolué pour traiter 1 000 To de données par mois, réduit ses coûts de calcul de 25 % et renforcé l'efficacité de son équipe de développement. 

Évoluer pour traiter 20 millions de tâches par mois à l'aide d'Amazon EKS

Les services d'Apify sont utilisés par ses clients pour répondre à un large éventail de problèmes métier. Par exemple, collecter des données sur les prix des produits pour éclairer les stratégies de vente, suivre les conversations des consommateurs sur les fonctionnalités des produits ou les bugs afin d'améliorer les services, ou automatiser le processus d'annulation des abonnements des clients.

Les outils de web-scraping s'intègrent facilement aux flux de travail de l'entreprise, et les données structurées produites sont ensuite exportées dans n'importe quel format, ce qui les rend instantanément lisibles par les clients. « Nos services aident les entreprises à modifier rapidement leurs stratégies, voire à élaborer des stratégies à la volée sur des marchés en évolution rapide », constate Marek Trunkat, directeur de la technologie (CTO) chez Apify.

L'approche d'Apify signifie qu'elle doit traiter rapidement de grandes quantités d'informations, afin que les clients puissent accéder aux données du web et les analyser de manière fiable. Elle traite 20 millions de tâches d'automatisation web par mois à l'aide d'Amazon Elastic Compute Cloud (Amazon EC2) et d'Amazon Elastic Kubernetes Service (Amazon EKS), un service de conteneurs géré permettant d'exécuter et de faire évoluer des applications Kubernetes dans le cloud ou sur site. Elle stocke également environ 1,5 milliard de résultats analytiques par mois en utilisant Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets, ainsi qu'Amazon DynamoDB, la base de données NoSQL clé-valeur entièrement gérée et sans serveur et Amazon ElastiCache, le service de mise en cache en mémoire.

Lancement avec AWS Activate et réduction de 25 % des coûts du cloud

Apify a commencé à utiliser AWS via AWS Activate, un programme qui propose aux startups des outils et des ressources gratuits pour démarrer sur AWS. « L'assistance que nous avons reçue via AWS Activate en matière de crédits, de formation et de contrôle des coûts a été l'une des principales raisons pour lesquelles nous avons choisi AWS. », explique Trunkat. « Elle a sans aucun doute contribué à nos premiers succès. »

L'entreprise a également géré son budget et réduit ses coûts totaux de cloud de 25 % grâce aux instances Spot Amazon EC2, qui exécutent des charges de travail tolérantes aux pannes avec un rabais allant jusqu'à 90 %. « Sur notre marché hautement concurrentiel, les entreprises qui réussissent sont celles qui peuvent trouver une idée originale et la mettre rapidement en œuvre », poursuit Trunkat. « Nous avons pu le faire grâce aux instances Spot et au programme AWS Activate. »

Apify s'est développée pour servir plus de 1 000 clients actifs tout en fonctionnant avec une petite équipe d'ingénierie et DevOps. Grâce à AWS, elle peut rapidement augmenter le débit des API de 100 000 à 500 000 requêtes par minute afin de répondre à l'évolution dynamique de la demande des clients.

Soutenir une communauté mondiale de développeurs

Apify a renforcé les connaissances et l'efficacité de son équipe informatique en matière de cloud grâce à des supports de formation AWS et à des journées de formation en immersion. Grâce à AWS, l'équipe ne consacre qu'un minimum de temps aux tâches de maintenance et de surveillance de l'infrastructure. Les ingénieurs peuvent ainsi utiliser leurs compétences en matière de cloud pour développer des solutions innovantes et aider d'autres développeurs à créer leurs propres outils de web-scraping. Apify et sa communauté de développeurs ont créé 1 000 outils de web-scraping prêts à l'emploi qui sont mis à la disposition des clients via une boutique en ligne.

La start-up a même lancé une initiative qui permet à sa communauté de tirer des revenus de ces outils. L'objectif est que les développeurs créent leurs propres outils d'automatisation, les hébergent sur l'infrastructure d'Apify, puis louent ces outils à des tiers. « Apify a pour objectif de devenir la principale plateforme et le principal marketplace pour les outils de web-scraping et d'automatisation », déclare Trunkat. « Sachant à quel point il est facile d'évoluer sur AWS et de créer des services fiables pour les clients, nous sommes convaincus de pouvoir atteindre nos ambitions de croissance. »