Erste Schritte mit dem Projekt

5 Schritte  |  60 Minuten

Analyze_Big_Data_HERO-ART_SM

Amazon EMR ist ein verwalteter Service, der das Ausführen von Apache Hadoop und Spark zum Verarbeiten riesiger Datenmengen schnell, einfach und kostengünstig macht. Amazon EMR unterstützt auch leistungsstarke und bewährte Hadoop-Tools wie Presto, Hive, Pig, HBase usw. In diesem Projekt stellen Sie einen voll funktionsfähigen Hadoop-Cluster bereit, um innerhalb weniger Minuten Protokolldaten analysieren zu können. Sie beginnen mit dem Starten eines Amazon EMR-Clusters und dem Verwenden eines HiveQL-Skripts, um Beispielprotokolldaten, die in einem Amazon S3-Bucket gespeichert sind, zu verarbeiten. HiveQL ist eine SQL-ähnliche Skripterstellungssprache für Data Warehousing und Analysen. Sie können dann einen ähnlichen Aufbau zum Analysieren Ihrer eigenen Protokolldateien verwenden.

aws-project_analyze-big-data_diagram
Erste Schritte mit dem Projekt

Folgendes erreichen Sie:

Starten eines voll funktionsfähigen Hadoop-Clusters mithilfe von Amazon EMR.

Definieren des Schemas und Erstellen einer Tabelle für Beispielprotokolldaten, die in Amazon S3 gespeichert sind.

Analysieren der Daten mithilfe eines HiveQL-Skripts und Zurückschreiben der Ergebnisse in Amazon S3.

Herunterladen und Anzeigen der Ergebnisse auf Ihrem Computer.

Vor dem Start benötigen Sie Folgendes:

Ein AWS-Konto: Für die Bereitstellung von Ressourcen zum Hosten Ihrer Website benötigen Sie ein AWS-Konto. Registrieren bei AWS.

IT-Erfahrung: Erfahrung mit Hadoop ist empfehlenswert, aber nicht erforderlich, um dieses Projekt abzuschließen.

AWS-Erfahrung: Grundlegende Kenntnisse in Amazon S3 und Amazon EC2 sind empfehlenswert, aber nicht erforderlich, um dieses Projekt abzuschließen.

Fakturierungsschätzungen:

Kosten für den Abschluss des Projekts: Die Kosten zum Abschließen dieses Projekts betragen schätzungsweise 1,05 USD. Dabei wird angenommen, dass Sie sich innerhalb des kostenlosen Kontingents für AWS befinden, die empfohlenen Konfigurationen verwenden und alle im Projekt verwendeten Ressourcen innerhalb einer Stunde nach der Erstellung wieder löschen. Ihr Anwendungsfall erfordert möglicherweise andere Konfigurationen, die sich auf die Fakturierung auswirken können. Mit dem einfachen Monatsrechner können Sie die Kosten entsprechend Ihren Anforderungen kalkulieren.

Geschätzte monatliche Fakturierung: Die Gesamtkosten dieses Projekts variieren je nach Nutzung und Konfigurationseinstellungen. Wenn Sie die in diesem Leitfaden empfohlene Standardkonfiguration verwenden, kostet das Projekt normalerweise 769 USD pro Monat. Die AWS-Preise basieren auf Ihrer Nutzung der einzelnen Services. Die insgesamt kombinierte Nutzung der einzelnen Services ergibt Ihre monatliche Rechnung. Auf den Registerkarten unten erfahren Sie, wofür die einzelnen Services verwendet werden und wie sich dies auf Ihre Rechnung auswirkt. Eine Aufstellung der verwendeten Services sowie der zugehörigen Kosten finden Sie unter verwendete Services und Kosten.


Erhalten Sie weitere Informationen zu Big Data-Lösungen auf AWS und registrieren Sie sich für ein Webinar.

Erhalten Sie Informationen zu den Funktionen, Vorteilen und wichtigsten Anwendungsfällen für Amazon EMR.

Benötigen Sie für die ersten Schritte mit AWS mehr Ressourcen? Weitere Informationen finden Sie im Ressourcencenter zu den ersten Schritten.