Das Durchsuchen, Abrufen, Verarbeiten und Verteilen von im Internet gefundenen Informationen erfordert eine enorme Verarbeitungs- und Speicherleistung sowie fortschrittliche Algorithmen zum Manipulieren der Daten, Erstellen von Indexen und Beantworten von Benutzerabfragen. Die Herausforderung, genaue Suchdaten zu führen, vergrößert sich noch durch die sich ständig ändernden Verhältnisse im Internet und dem Wettbewerb im Suchmaschinenmarkt. Falls Sie in Betracht ziehen, eine Suchmaschine oder einen Web-Crawler zu entwickeln, sollten Sie sich folgende Fragen stellen:

  • Wie viel Speicher wird nötig sein? Welche Wachstumsraten werden erwartet?
  • Welche Architektur wird zur Datenspeicherung genutzt?
  • Wie können die Indizierungs-, Durchsuchungs- und Verarbeitungsaktivitäten dynamisch gesteigert oder verringert werden?
  • Welche Infrastruktur kann eingesetzt werden, um ein System zu errichten, das skalierbar ist, so dass es mit den Anforderungen des Internets umgehen kann?

Amazon Web Services (AWS) bietet eine bewährte und zuverlässige Plattform für die Rechen- und Speicheranforderungen von Anwendungen zum Durchsuchen und Indizieren des Internets.

Amazon EC2 bietet eine an den Bedarf anpassbare Rechenkapazität. Verarbeitung, Algorithmen, Suchläufe, Zwischenspeicherung von Inhalten, Erstellung von Korpora, Modellen und Indizes sowie Systemwartung und Benutzeroberflächen können alle auf Amazon EC2 gehostet werden. So können Sie Ihre Anwendungskomponenten auf Standard-Betriebssystemen und in Standard-Anwendungsumgebungen erstellen und hosten und die Vorteile der flexiblen AWS Cloud nutzen, um Ihren Nutzungsbedarf den sich ändernden Verarbeitungsanforderungen entsprechend anzupassen. Weitere Informationen

Amazon S3 bietet eine einfache Webservice-Schnittstelle zum Speichern und Abrufen einer beliebigen Datenmenge zu jeder Zeit und von jedem Ort im Internet aus. Der Service ist beständig, hochverfügbar und sicher. Amazon S3 speichert zudem mehrere redundante Kopien Ihrer Daten. Weitere Informationen

Mit Amazon RDS ist das Einrichten, Betreiben und Skalieren einer relationalen Datenbank in der Cloud ganz einfach. Der Service stellt kostengünstige und anpassbare Kapazitäten zur Verfügung und erledigt gleichzeitig zeitraubende Datenbankverwaltungsaufgaben, sodass Sie sich stärker auf Ihre Anwendungen und Ihr Unternehmen konzentrieren können. Weitere Informationen

Wenn sich Ihre Suchdaten häufen, können Sie mit Amazon SimpleDB große Datensätze indizieren und abfragen. Der Web-Service Amazon SimpleDB bietet die zentralen Datenbankfunktionen für das Indizieren und Abfragen von Daten. Sie können Ihre Anwendungen so schreiben, dass Sie die Einfachheit von Amazon SimpleDB sowie die Fähigkeit zur nahtlosen Skalierung nutzen können. Amazon SimpleDB kann geringe Mengen an Daten speichern, lässt sich jedoch auch für eine größere Speicherkapazität nahtlos in Amazon S3 integrieren. Weitere Informationen

Amazon SQS bietet ein leistungsstarkes und sicheres Warteschlangensystem für Ihre Anwendung, mit dem Sie Aufgaben zuverlässig auf die einzelnen Anwendungsprozesse verteilen können. Weitere Informationen

Der Web-Service Amazon Mechanical Turk ist eine Art Arbeitsmarkt, über den Ihre Anwendung programmgesteuert Zugriff auf menschliche Intelligenz hat. Mit Hilfe dieses Service können Sie in Ihren Algorithmen nach "menschlichen Bewertungen" suchen. Wenn Sie beispielsweise eine neue Website identifizieren, können Sie Mechanical Turk verwenden, um die Website von tatsächlichen Mitarbeitern klassifizieren zu lassen (Shop, Sport, Nachrichten, Spiele) und Metadaten zu erhalten, damit die Auffindbarkeit für Ihre Benutzer verbessert wird. Weitere Informationen

Amazon bietet den Alexa Web Information Service (AWIS) sowie die Services von Alexa Top Sites, mit denen Informationen und Metadaten zu Websites geliefert werden. Anhand dieser Informationen können Sie Informationen zur Domain-Registrierung, zu Datenverkehrsinformationen und zur Website-Struktur sowie verwandte Links finden und auf Verlaufsdaten zugreifen. Weitere Informationen zu AWIS und Alexa Top Sites


AWS ist so konzipiert, dass Ihnen ein Großteil der mühsamen Aufgaben bei der Einrichtung und Verwaltung Ihrer eigenen IT-Infrastruktur erspart bleibt. Sie müssen keine Hardware kaufen und konfigurieren. AWS ist innerhalb von wenigen Minuten einsatzbereit, so dass sich Ihre Ideen nahezu reibungsfrei für Ihre Kunden bereitstellen lassen. Und Sie können die AWS Management Console, verschiedene Verwaltungstools anderer Anbieter sowie die gut dokumentierten AWS Web-Service-APIs nutzen, um Ihre Cloud-Infrastruktur zu verwalten und zu warten.

Bei AWS können Sie das Betriebssystem, die Programmiersprache, Softwaretools, die Anwendungsplattform sowie weitere benötigte Services auswählen. Auf diese Weise wird die Migration für bestehende Anwendungen erleichtert und gleichzeitig eine Optionsvielfalt für die Realisierung neuer Lösungen geboten.

Sie zahlen lediglich für die genutzte Rechenleistung, den genutzten Speicher sowie weitere Ressourcen, die Sie verwenden, und müssen dabei keine langfristigen Verträge eingehen oder Vorleistungen erbringen. Weitere Informationen zur Kostenanalyse für die Nutzung von AWS finden Sie im AWS Economics Center.

AWS stellt eine skalierbare, zuverlässige und sichere globale Computing-Infrastruktur bereit – das virtuelle Rückgrat von Amazon.com, der seit über einem Jahrzehnt laufend weiter optimierten Einzelhandelsplattform mit einem Geschäftswert von mehreren Milliarden Dollar.

Durch den Einsatz von AWS-Tools, Auto Scaling und Elastic Load Balancing kann Ihre Anwendung je nach Bedarf skaliert werden. Dank der Unterstützung durch die enorme Infrastruktur von Amazon haben Sie Zugriff auf die Rechen- und Speicherressourcen, wenn Sie sie benötigen.

AWS verfolgt einen durchgängigen Ansatz bei Schutz und Stabilisierung seiner Infrastruktur durch physische, betriebliche und softwarebasierte Maßnahmen. Weitere Informationen erhalten Sie im AWS-Sicherheitszentrum.