Apify は、企業向けウェブインサイトを強化し、AWS を利用してクラウドコストを 25% 削減

2015 年に設立されたプラハを拠点とするスタートアップ企業である Apify は、大量のWeb データの収集、分析、Web プロセスの自動化により、企業の業務改善に役立てることのできる Web スクレイピング/自動化プラットフォームと一連のオープンソースツールを開発しました。Apify は、AWS Activate プログラムによるクレジットとトレーニングを活用して、初日から AWS を使用してきました。同社は急速に成長し、現在 179 か国の 1,000 社の組織にサービスを提供しています。また、1 か月あたり 1,000 TB のデータを処理できるように拡張して、コンピューティングコストを 25% 削減し、開発チームの効率性を向上させました。

Apify は、2015 年にプラハで設立された急成長中の企業です。同社は、ウェブスクレイピング/自動化プラットフォームと、ウェブからデータを収集するオープンソースツールのセットを開発しました。お客様は、このデータから得たインサイトを利用して、製品の価格設定からお客様の心理に至るまで、あらゆる面で戦略を改善しています。 

スタートアップ企業である Apify は、お客様の需要の増加に合わせて簡単にスケールアップできる、信頼性が高く費用対効果の高いインフラストラクチャを必要としていました。  

アマゾンウェブサービス (AWS) でサービスを構築したことで、同社は急速に成長し、現在 179 か国の 1,000 社の組織にサービスを提供しています。また、1 か月あたり 1,000 TB のデータを処理できるように拡張して、コンピューティングコストを 25% 削減し、開発チームの効率性を向上させました。 

Amazon EKS を使用して 1 か月あたり 2,000 万件のジョブを処理するためのスケーリング

Apify のサービスをそのお客様は、さまざまなビジネス上の問題への対処に使用しています。たとえば、販売戦略に役立つ製品価格データの収集や、製品の機能やバグに関する消費者の会話の追跡によるサービスの強化、あるいはお客様のサブスクリプションのキャンセルプロセスの自動化に利用しています。

ウェブスクレイピングツールはビジネスワークフローに簡単に統合でき、構造化されたデータ出力は任意の形式でエクスポートできるため、お客様はすぐに情報を読み取ることができます。Apify の最高技術責任者(CTO) である Marek Trunkat 氏は、「当社のサービスは、企業による戦略の迅速な変更や、動きの速い市場におけるその場その場の戦略構築に役立ちます」と述べています。

Apify のアプローチでは、お客様は、ウェブデータに確実にアクセスして分析できるように、膨大な量の情報を高速に処理する必要があります。Amazon Elastic Compute Cloud (Amazon EC2) と Amazon Elastic Kubernetes Service (Amazon EKS) を使用して、毎月 2,000 万件のウェブ自動化ジョブを処理しています。Amazon EKS は、クラウドまたはオンプレミスで Kubernetes アプリケーションを実行およびスケーリングするためのマネージドコンテナサービスです。また、オブジェクトストレージサービスである Amazon シンプルストレージサービス (Amazon S3) のほか、フルマネージド型、サーバーレス、キー値の NoSQL データベース Amazon DynamoDB、インメモリキャッシュサービス Amazon ElastiCache を使用して、毎月約 15 億件の分析結果を保存しています。

AWS Activate で立ち上げてクラウドコストを 25% 削減

Apify は、AWS Activate で AWS の使用を開始しました。AWS Activate は、AWS でスタートアップを切るスタートアップ企業に無料ツールとリソースを提供するプログラムです。「AWS Activate を通じて受けられたクレジット、トレーニング、コスト管理のサポートが、私たちが AWS を選んだ主な理由でした」と Trunkat 氏は言います。「それが私たちの当初の成功に貢献したことは間違いありません。」

同社はまた、Amazon EC2 スポットインスタンスで予算を管理し、クラウドの総コストを 25% 削減しました。 Amazon EC2 スポットインスタンスでは、耐障害性ワークロードを最大 90% の割引価格で実行できます。「競争の激しい私たちの市場で、成功するビジネスとは、独自のアイデアを迅速に展開できる企業です」と Trunkat 氏は言います。「Apify は、スポットインスタンスと AWS Activate プログラムを使用してこれを実現できました。」

Apify は、小規模なエンジニアリングチームと DevOps チームで運営しながら、1,000 社を超える取り引き中のお客様にサービスを提供するまでに成長しました。AWS を使用すると、API のスループットを 1 分あたり 100,000 件から 500,000 件までのリクエストにすばやくスケーリングして、動的に変化するお客様の需要に対応できます。

世界中の開発者コミュニティをサポート

Apify は、日々提供する AWS の学習教材とイマージョントレーニングで、IT チームのクラウドに関する知識と効率を高めました。AWS を使用することで、チームはインフラストラクチャのメンテナンスと監視タスクに費やす時間を最小限に抑えることができます。これで、エンジニアは、そのクラウドスキルを活用して革新的なソリューションを開発し、あるいは他の開発者が独自のウェブスクレイピングツールを作成するのをサポートできます。Apify とその開発者コミュニティは、オンラインストアを通じて顧客が利用できる 1,000 のすぐに使用できる Web スクレイピングツールを作成しました。

このスタートアップ企業は、そのコミュニティがこれらのツールから収入を得るためのイニシアチブも立ち上げました。目標は、開発者が独自の自動化ツールを構築し、Apify のインフラストラクチャでホストし、それらのツールを第三者にレンタルすることです。「Apify は、ウェブスクレイピングと自動化ツールの主なプラットフォームと市場になることを目指しています」と Trunkat 氏は言います。「AWS におけるスケーリングとお客様向けの信頼できるサービスを構築することがいかに簡単かを知っている私たちは、当社の成長目標を達成できると確信しています。」