Apify unterstützt Web-Einblicke für Unternehmen und senkt die Cloud-Kosten mithilfe von AWS um 25 %

Apify, ein 2015 gegründetes Startup mit Sitz in Prag, hat eine Web-Scraping- und Automatisierungsplattform sowie eine Reihe von Open-Source-Tools entwickelt, mit denen Unternehmen ihre Abläufe verbessern können, indem sie große Mengen an Webdaten sammeln und analysieren und Webprozesse automatisieren. Apify nutzt AWS vom ersten Tag an und hat im Rahmen des AWS-Activate-Programms Guthaben und Schulungen genutzt. Das Unternehmen ist schnell gewachsen und bietet derzeit Services für 1 000 Organisationen in 179 Ländern an. Das Unternehmen wurde außerdem auf die Verarbeitung von 1 000 TB Daten pro Monat skaliert, die Rechenkosten um 25 Prozent gesenkt und die Effizienz seines Entwicklungsteams gesteigert.

Apify ist ein schnell wachsendes Unternehmen, das 2015 in Prag gegründet wurde. Das Unternehmen hat eine Web-Scraping- und Automatisierungsplattform sowie eine Reihe von Open-Source-Tools entwickelt, die Daten aus dem Internet erheben. Die Kunden nutzen die aus diesen Daten gewonnenen Erkenntnisse, um ihre Strategien in allen Bereichen zu verbessern, von der Produktpreisgestaltung bis hin zur Kundenstimmung. 

Als Startup benötigte Apify eine zuverlässige, kostengünstige Infrastruktur, die bei steigender Kundennachfrage problemlos skaliert werden konnte.  

Durch die Erweiterung seines Angebots auf Amazon Web Services (AWS) ist das Unternehmen schnell gewachsen und bietet heute Services für 1 000 Organisationen in 179 Ländern an. Das Unternehmen wurde außerdem auf die Verarbeitung von 1 000 TB Daten pro Monat skaliert, die Rechenkosten um 25 Prozent gesenkt und die Effizienz seines Entwicklungsteams gesteigert. 

Skalierung zur Verarbeitung von 20 Millionen Aufträgen pro Monat mit Amazon EKS

Die Services von Apify werden von den Kunden genutzt, um eine Vielzahl von Geschäftsproblemen zu lösen. Zum Beispiel die Erfassung von Produktpreisdaten als Grundlage für Verkaufsstrategien, die Verfolgung von Kundengesprächen über Produktmerkmale oder Fehler, um den Service zu verbessern, oder die Automatisierung des Kündigungsprozesses von Kundenabonnements.

Die Web-Scraping-Tools lassen sich problemlos in Geschäfts-Workflows integrieren, und die strukturierte Datenausgabe wird dann in ein beliebiges Format exportiert, sodass sie für Kunden sofort lesbar ist. „Unsere Services helfen Unternehmen dabei, Strategien schnell zu ändern oder in schnelllebigen Märkten sogar spontan Strategien zu entwickeln“, sagt Marek Trunkat, Chief Technology Officer (CTO) bei Apify.

Der Ansatz von Apify bedeutet, dass große Informationsmengen schnell verarbeitet werden müssen, damit Kunden zuverlässig auf Webdaten zugreifen und diese analysieren können. Apify verarbeitet monatlich 20 Millionen Webautomatisierungsaufträge mithilfe von Amazon Elastic Compute Cloud (Amazon EC2) und Amazon Elastic Kubernetes Service (Amazon EKS), einem verwalteten Container-Service zur Ausführung und Skalierung von Kubernetes-Anwendungen in der Cloud oder vor Ort. Mit Amazon Simple Storage Service (Amazon S3), einem Objektspeicher-Service, sowie der vollständig verwalteten Serverless-NoSQL-Schlüsselwert-Datenbank Amazon DynamoDB und dem In-Memory-Caching-Service Amazon ElastiCache werden monatlich rund 1,5 Milliarden Analyseergebnisse gespeichert.

Einführung mit AWS Activate und Senkung der Cloud-Kosten um 25 %

Apify begann mit der Nutzung von AWS über AWS Activate, einem Programm, das Startups kostenlose Tools und Ressourcen für den Einstieg in AWS bietet. „Die Unterstützung, die wir über AWS Activate für Guthaben, Schulungen und Kostenkontrolle erhielten, war ein Hauptgrund, warum wir uns für AWS entschieden haben“, sagt Trunkat. „Sie hat zweifellos zu unserem frühen Erfolg beigetragen.“

Das Unternehmen verwaltete auch sein Budget und senkte seine gesamten Cloud-Kosten um 25 Prozent mithilfe von Amazon EC2 Spot Instances, die fehlertolerante Workloads mit einem Rabatt von bis zu 90 Prozent ausführen. „In unserem hart umkämpften Markt sind erfolgreiche Unternehmen diejenigen, die eine unverwechselbare Idee aufgreifen und sie schnell skalieren können“, sagt Trunkat. „Wir konnten dies mithilfe von Spot Instances und dem AWS-Activate-Programm tun.“

Apify ist auf mehr als 1 000 aktive Kunden angewachsen und arbeitet gleichzeitig mit einem kleinen Engineering- und DevOps-Team zusammen. Mithilfe von AWS kann der API-Durchsatz schnell von 100 000 auf 500 000 Anfragen pro Minute skaliert werden, um den sich dynamisch ändernden Kundenanforderungen gerecht zu werden.

Unterstützung einer weltweiten Entwickler-Community

Apify steigerte das Cloud-Wissen und die Effizienz seines IT-Teams mit AWS-Lernmaterialien und Immersionsschulungstagen. Mit AWS verbringt das Team nur wenig Zeit mit der Wartung und Überwachung der Infrastruktur. Dadurch können Ingenieure ihre Cloud-Fähigkeiten nutzen, um innovative Lösungen zu entwickeln und andere Entwickler bei der Entwicklung ihrer eigenen Web-Scraping-Tools zu unterstützen. Apify und seine Entwickler-Community haben 1 000 gebrauchsfertige Web-Scraping-Tools entwickelt, die Kunden über einen Online-Shop zur Verfügung stehen.

Das Startup hat sogar eine Initiative ins Leben gerufen, die es seiner Community ermöglicht, mit diesen Tools Einnahmen zu erzielen. Ziel ist es, dass Entwickler ihre eigenen Automatisierungstools entwickeln, sie auf der Infrastruktur von Apify hosten und diese Tools dann an Dritte vermieten. „Apify will die führende Plattform und der führende Marktplatz für Web-Scraping- und Automatisierungstools werden“, sagt Trunkat. „Da wir wissen, wie einfach es ist, auf AWS zu skalieren und zuverlässige Services für Kunden aufzubauen, sind wir zuversichtlich, dass wir unsere Wachstumsambitionen erreichen können.“