ウェブ全体から検索される情報のクローリング、取得、処理、配信を行うには、データを操作し、インデックスを作成し、ユーザーのクエリに応答するための高度なアルゴリズムに加えて、膨大な量の処理能力とストレージを必要とします。さらに、正確な検索データを管理するという課題は、絶えず変わり続けるウェブおよび競争が激しい検索エンジン市場の動性により、ますます複雑化しています。検索エンジンまたはウェブクローラー アプリケーションの構築をご検討なら、以下の疑問を考慮してみてください。

  • どの程度の規模のストレージが必要になるのか?このビジネスはどのように成長するのか?
  • どのような種類のデータストレージ アーキテクチャを使用するのか?
  • インデックス処理、クローリング、または様々なプロセス処理を、どのように動的に拡張・縮小することができるのか?
  • ウェブ全体に対応するよう拡張可能なシステム構築のために、どのようなインフラストラクチャを使用できるのか?

Amazon Web Services(AWS)は、インターネットのインデックス化と検索アプリケーションの処理能力およびストレージ要件を解決するために利用できる信頼性の高いプラットフォームを提供します。

Amazon EC2 は、伸縮自在なコンピューティングキャパシティをオンデマンドで提供します。処理、アルゴリズム、クローリング、コンテンツのキャッシング、コーパスの作成、モデルおよびインデックスプロダクション、システムメンテナンス、およびエンドユーザー インターフェイスは、すべて Amazon EC2 上でホストすることができます。これによって、標準のオペレーティングシステムとアプリケーション環境で、お客様のアプリケーションコンポーネントを作成してホストすることができます。また、AWS クラウドの柔軟な特徴を利用し、お客様の処理ニーズの変更に応じて、使用量の拡大や縮小を行うことができます。詳細

Amazon S3 は、シンプルなウェブサービス インターフェイスを提供して、どんなサイズのデータでもウェブ上の任意の場所に保存して、いつでも取得することができるようにします。堅牢性と可用性を兼ね備えていると同時に、高いセキュリティを実現しています。Amazon S3 は、お客様のデータの複数の冗長コピーを格納します。詳細

Amazon RDS を使用すれば、クラウド内でリレーショナルデータベースを簡単にセットアップ、運用、拡張することができます。これは手間のかかるデータベースの管理タスクをお客様の代わりに行いながら、安価で規模の変更が可能な機能を提供します。これによってお客様は、自身のアプリケーション開発やビジネスに集中することができます。詳細

検索データの蓄積を開始したら、Amazon SimpleDB を使用して、お客様の大規模なデータセットのインデックス化やクエリ問い合わせを行うことができます。Amazon SimpleDB は、データのインデックス化やクエリ問い合わせといった、基本的なデータベース機能を提供するウェブサービスです。Amazon SimpleDB の簡便性とシームレスな拡張性を活かしたアプリケーション開発が可能となります。Amazon SimpleDB はまた、少量のデータ保管から、Amazon S3 ストレージとシームレスに統合して大規模ストレージとしても活用できます。詳細

Amazon SQS は、お客様のアプリケーションに、高性能で、セキュリティで保護されたキューシステムを提供します。これによって、アプリケーションのプロセス間で、信頼性の高い作業配分が可能となります。詳細

Amazon は、ウェブサイトについての情報やメタデータを配信する、Alexa Web Information Service(AWIS)や Alexa Top Sites サービスを提供しています。これによって、関連リンクや過去のデータへのアクセスだけでなく、ドメイン登録、トラフィックデータ、サイト構造についての情報を入手することができます。AWIS および Alexa Top Sites の詳細はこちら


AWS は、お客様自身の IT インフラストラクチャのセットアップおよび管理の重い負担の多くを最小化するよう設計されています。ハードウェアの購入と設定は不要です。お客様は、数分で AWS の使用を始めることができ、最小限の修正でアイデアをカスタマーに伝えることができます。さらに、AWS Management Console、様々なサードパーティの管理ツール、または丁寧な説明の付いた AWS ウェブサービス API を使用して、お客様のクラウドインフラストラクチャを管理することができます。

AWS では、オペレーティングシステム、プログラミング言語、ウェブアプリケーションプラットフォーム、ソフトウェア、およびその他のお客様が必要とするサービスを選択することが可能です。これらによって、新しいソリューションを構築するオプションを維持しながら、既存のアプリケーションの移行プロセスを容易にすることができます。

お客様には、使用した処理能力、ストレージ、および他のリソースに対してのみお支払いいただきます。長期契約や前払いの義務はありません。AWS の利用コストの詳細については、AWS エコノミクスセンターをご参照ください。

AWS を使用すれば、拡張性、信頼性、安全性の高いグローバルコンピューティングインフラストラクチャを利用することができます。これは 10 年以上に渡って磨き上げられてきた、Amazon.com の数百万ドルにおよぶ小売り事業を支えてきた仮想バックボーンの利点を活用できることになります。

AWS ツール、Auto Scaling、および Elastic Load Balancing を使用して、お客様のアプリケーションを需要に応じて縮小・拡張することができます。Amazon の巨大なインフラストラクチャに支えられているため、必要な時にコンピュートおよびストレージリソースにアクセスすることができます。

AWS は、物理的対策、運用上の対策、ソフトウェア対策など、当社のインフラストラクチャを安全かつ強固にするために、徹底的なアプローチを施しています。詳細については、AWS セキュリティセンターをご覧ください。