ウェブ全体から検索される情報のクローリング、取得、処理、配信を行うには、データを操作し、インデックスを作成し、ユーザーのクエリに応答するための高度なアルゴリズムに加えて、膨大な量の処理能力とストレージを必要とします。さらに、正確な検索データを管理するという課題は、絶えず変わり続けるウェブおよび競争が激しい検索エンジン市場の動性により、ますます複雑化しています。検索エンジンまたはウェブクローラー アプリケーションの構築をご検討なら、以下の疑問を考慮してみてください。

  • どれだけのストレージが必要になるでしょうか? これはどのくらい成長するでしょうか?
  • どのような種類のデータストレージアーキテクチャーが必要になるでしょうか?
  • インデックス処理、クローリング、または様々なプロセス処理を、どのように動的に拡張・縮小することができるのか?
  • ウェブの負荷全体に対応するためにスケールできるシステムの構築には、どのようなインフラストラクチャを使用できますか?

Amazon Web Services(AWS)は、インターネットのインデックス化と検索アプリケーションの処理能力およびストレージ要件を解決するために利用できる信頼性の高いプラットフォームを提供します。

Amazon EC2 は、伸縮自在なコンピューティングキャパシティをオンデマンドで提供します。Amazon EC2 には、処理、アルゴリズム、クローリング、コンテンツのキャッシュ、コーパスの作成、モデルとインデックスの作成、システムメンテナンス、エンドユーザーインターフェイスをすべてホストできます。これにより、標準のオペレーティングシステムとアプリケーション環境でアプリケーションコンポーネントを作成してホストし、AWS クラウドの伸縮自在な特徴を活用して、処理ニーズの変化に応じて使用量を拡大または縮小できます。詳細はこちら

Amazon S3 は、あらゆるサイズのデータを、いつでも、ウェブのどこからでも、格納したり取り出したりすることができる、シンプルなウェブサービスインターフェイスです。永続的で、可用性が高く、安全です。Amazon S3 は、データのコピーを複数行い格納することで冗長性を実現しています。詳細はこちら

Amazon RDS を使用すれば、クラウド内でリレーショナルデータベースを簡単にセットアップ、運用、拡張することができます。このサービスは、手間のかかるデータベースの管理タスクをお客様の代わりに行いながら、コスト効率がよく、サイズ変更が可能なキャパシティーを提供します。これによってお客様は自身のアプリケーション開発やビジネスに集中できます。詳細はこちら

検索データの蓄積を開始したら、Amazon SimpleDB を使用して、お客様の大規模なデータセットのインデックス化やクエリ問い合わせを行うことができます。Amazon SimpleDB は、データのインデックス化やクエリ問い合わせといった、基本的なデータベース機能を提供するウェブサービスです。Amazon SimpleDB の簡便性とシームレスな拡張性を活かしたアプリケーション開発が可能となります。Amazon SimpleDB はまた、少量のデータ保管から、Amazon S3 ストレージとシームレスに統合して大規模ストレージとしても活用できます。詳細はこちら

Amazon SQS は、お客様のアプリケーションに、高性能で、セキュリティで保護されたキューシステムを提供します。これによって、アプリケーションのプロセス間で、信頼性の高い作業配分が可能となります。詳細はこちら

Amazon は、ウェブサイトについての情報やメタデータを配信する、Alexa Web Information Service(AWIS)や Alexa Top Sites サービスを提供しています。これによって、関連リンクや過去のデータへのアクセスだけでなく、ドメイン登録、トラフィックデータ、サイト構造についての情報を入手することができます。AWIS および Alexa トップサイトの詳細


AWS は、お客様自身の IT インフラストラクチャのセットアップおよび管理の重い負担の多くを最小化するよう設計されています。ハードウェアの購入と設定は不要です。数分で AWS の使用を始めることができ、アイデアを取り入れ、摩擦を最小に抑えた状態で顧客にデプロイすることができます。さらに、AWS マネジメントコンソール、サードパーティー製のさまざまな管理ツール、十分なドキュメントがそろっている AWS ウェブサービス API を使用してお客様のクラウドインフラストラクチャを管理できます。

AWS では、オペレーティングシステム、プログラミング言語、ウェブアプリケーションプラットフォーム、ソフトウェア、およびその他のお客様が必要とするサービスを選択することが可能です。これらによって、新しいソリューションを構築するオプションを維持しながら、既存のアプリケーションの移行プロセスを容易にすることができます。

お客様には、ご利用いただいたコンピューティング能力、ストレージ、および他のリソースに対してのみ料金をお支払いいただきます。長期契約や初期費用は不要です。AWS の利用コストの詳細については、AWS エコノミクスセンターをご参照ください。

AWS を使用すれば、拡張性、信頼性、安全性の高いグローバルコンピューティングインフラストラクチャを利用することができます。これは 10 年以上に渡って磨き上げられてきた、Amazon.com の数百万ドルにおよぶ小売り事業を支えてきた仮想バックボーンの利点を活用できることになります。

AWS ツール、Auto Scaling、および Elastic Load Balancing を使用して、お客様のアプリケーションを需要に応じて縮小・拡張することができます。Amazon の巨大なインフラストラクチャに支えられているため、必要な時にコンピュートおよびストレージリソースにアクセスすることができます。

AWS は、物理的対策、運用上の対策、ソフトウェア対策など、当社のインフラストラクチャを安全かつ強固にするために、徹底的なアプローチを施しています。詳細については、AWS セキュリティセンターを参照してください。