Suchmaschinen und Web-Crawler

Für Amazon Web Services anmelden

Die Herausforderung

Das Durchsuchen, Abrufen, Verarbeiten und Verteilen von im Internet gefundenen Informationen erfordert eine enorme Verarbeitungs- und Speicherleistung sowie fortschrittliche Algorithmen zum Manipulieren der Daten, Erstellen von Indexen und Beantworten von Benutzerabfragen. Die Herausforderung, genaue Suchdaten zu führen, vergrößert sich noch durch die sich ständig ändernden Verhältnisse im Internet und dem Wettbewerb im Suchmaschinenmarkt. Falls Sie in Betracht ziehen, eine Suchmaschine oder einen Web-Crawler zu entwickeln, sollten Sie sich folgende Fragen stellen:

• Wie viel Speicher wird nötig sein? Welche Wachstumsraten werden erwartet?
• Welche Architektur wird zur Datenspeicherung genutzt?
• Wie können die Indizierungs-, Durchsuchungs- und Verarbeitungsaktivitäten dynamisch gesteigert oder verringert werden?
• Welche Infrastruktur kann eingesetzt werden, um ein System zu errichten, das skalierbar ist, so dass es mit den Anforderungen des Internets umgehen kann?

Suchmaschinen mit AWS

Amazon Web Services (AWS) bietet eine bewährte und zuverlässige Plattform für die Rechen- und Speicheranforderungen von Anwendungen zum Durchsuchen und Indizieren des Internets.

Amazon Elastic Compute Cloud (Amazon EC2). Amazon EC2 bietet eine nach Bedarf anpassbare Rechenkapazität. Verarbeitung, Algorithmen, Suchläufe, Zwischenspeicherung von Inhalten, Erstellung von Korpora, Modellen und Indizes sowie Systemwartung und Benutzeroberflächen können alle auf Amazon EC2 gehostet werden. So können Sie Ihre Anwendungskomponenten auf Standard-Betriebssystemen und in Standard-Anwendungsumgebungen erstellen und hosten und die Vorteile der flexiblen AWS Cloud nutzen, um Ihren Nutzungsbedarf den sich ändernden Verarbeitungsanforderungen entsprechend anzupassen. Weitere Informationen

Amazon Simple Storage Service (Amazon S3). Amazon S3 bietet eine einfache Web-Service-Schnittstelle zum Speichern und Abrufen einer beliebigen Datenmenge zu jeder Zeit und von jedem Ort im Internet aus. Der Dienst ist beständig, hochverfügbar und sicher. Amazon S3 speichert zudem mehrere redundante Kopien Ihrer Daten. Weitere Informationen

Amazon Relational Database Service (Amazon RDS).Mit Amazon RDS ist das Einrichten, Betreiben und Skalieren einer relationalen Datenbank in der Cloud ganz einfach. Der Dienst bietet Ihnen kostengünstige und skalierbare Kapazität und die Verwaltung von zeitraubenden Datenbank-Administrationsaufgaben, so dass Sie sich auf Ihre Anwendungen und Ihr Geschäft konzentrieren können. Weitere Informationen

Amazon SimpleDB. Wenn sich Ihre Suchdaten vermehren, können Sie mit Amazon SimpleDB Ihre großen Datensätze indizieren und abfragen. Der Webservice Amazon SimpleDB bietet die zentralen Datenbankfunktionen für das Indizieren und Abfragen von Daten. Sie können Ihre Anwendungen so schreiben, dass Sie die Einfachheit von Amazon SimpleDB sowie die Fähigkeit zur nahtlosen Skalierung nutzen können. Amazon SimpleDB kann geringe Mengen an Daten speichern, lässt sich jedoch auch für eine größere Speicherkapazität nahtlos in Amazon S3 integrieren. Weitere Informationen

Amazon Simple Queue Service (Amazon SQS). Amazon SQS bietet ein leistungsstarkes und sicheres Warteschlangensystem für Ihre Anwendung, mit dem Sie Aufgaben zuverlässig auf die einzelnen Anwendungsprozesse verteilen können. Weitere Informationen

Amazon Mechanical Turk. Amazon Mechanical Turk ist ein Arbeitsmarktplatz für den programmgesteuerten Zugriff Ihrer Anwendung auf "menschliche Intelligenz". Mit Hilfe dieser Dienstleistung können Sie innerhalb Ihrer Algorithmen nach benutzerbasierten Aufgaben suchen. Wenn Sie beispielsweise eine neue Website identifizieren, können Sie Mechanical Turk verwenden, um die Website von tatsächlichen Mitarbeitern klassifizieren zu lassen (Shop, Sport, Nachrichten, Spiele) und Metadaten zu erhalten, damit die Auffindbarkeit für Ihre Benutzer verbessert wird. Weitere Informationen

Alexa. Amazon bietet den Alexa Web Information Service (AWIS) sowie die Dienstleistungen von Alexa Top Sites, mit denen Informationen und Metadaten zu Websites geliefert werden. Anhand dieser Informationen können Sie Informationen zur Domänenregistrierung, zu Verkehrsdaten und zur Site-Struktur sowie verwandte Links und Zugriff auf Verlaufsdaten finden. Weitere Informationen zu AWIS und Alexa Top Sites

Die Vorteile auf einen Blick

Einfache Verwendung. AWS ist so konzipiert, dass Ihnen ein Großteil der mühsamen Aufgaben bei der Einrichtung und Verwaltung Ihrer eigenen IT-Infrastruktur erspart bleibt. Sie müssen keine Hardware kaufen und konfigurieren. AWS ist innerhalb von wenigen Minuten einsatzbereit, so dass sich Ihre Ideen nahezu reibungsfrei für Ihre Kunden bereitstellen lassen. Und Sie können die AWS Management Console, verschiedene Verwaltungstools anderer Anbieter sowie die gut dokumentierten AWS Web-Service-APIs nutzen, um Ihre Cloud-Infrastruktur zu verwalten und zu warten.

Flexibel. Bei AWS können Sie das Betriebssystem, die Programmiersprache, die Softwaretools, die Anwendungsplattform sowie weitere erforderliche Dienstleistungen auswählen. Auf diese Weise wird die Migration für bestehende Anwendungen erleichtert und gleichzeitig eine Optionsvielfalt für die Realisierung neuer Lösungen geboten.

Kostengünstig. Sie zahlen lediglich für die genutzte Rechenleistung, den genutzten Speicher sowie weitere Ressourcen, die Sie verwenden, und müssen dabei keine langfristigen Verträge eingehen oder Vorleistungen erbringen. Weitere Informationen zur Kostenanalyse für die Nutzung von AWS finden Sie im AWS Wirtschaftszentrum.

Zuverlässig.AWS stellt eine skalierbare, zuverlässige und sichere globale Computing-Infrastruktur bereit – das virtuelle Rückgrat von Amazon.com, der seit über einem Jahrzehnt laufend weiter optimierten Einzelhandelsplattform mit einem Geschäftswert von mehreren Milliarden Dollar.

Skalierbar und extrem leistungsfähig. Durch den Einsatz von AWS-Tools, Auto Scaling und Elastic Load Balancing kann Ihre Anwendung je nach Bedarf nach oben oder unten skaliert werden. Dank der Unterstützung durch die enorme Infrastruktur von Amazon haben Sie Zugriff auf die Rechen- und Speicherressourcen, wenn Sie sie benötigen.

Sicher. AWS verfolgt einen umfassenden Ansatz, um die Infrastruktur durch physische, betriebliche und Software-basierte Maßnahmen zu sichern und zu festigen. Weitere Informationen erhalten Sie im AWS Sicherheitszentrum.

Ressourcen zu Suchmaschinen