Wozu dient diese AWS-Lösungsimplementierung?

Viele Organisationen verwenden Batch-Daten und Echtzeit-Daten-Streaming-Berichte, um strategische und umsetzbare Einblicke in langfristige Geschäftstrends zu gewinnen. Eine wachsende Zahl von Kunden nutzt die Verarbeitung von Streaming-Daten mit neuen und dynamischen Daten, die kontinuierlich in Big Data Anwendungsfällen generiert werden. Die Streaming-Daten werden zur Erstellung von Berichten, zur Durchführung von Aktionen auf der Grundlage von Schwellenwerten oder für anspruchsvollere Formen der Datenanalyse, wie die Anwendung von Algorithmen des Machine Learning, verwendet.

Die Lösung Real-Time Analytics with Spark Streaming konfiguriert automatisch die AWS-Services, die für die einfache Aufnahme, Speicherung, Verarbeitung und Analyse von Echtzeit- und Batch-Daten erforderlich sind, wobei Funktionen aus der Business Intelligence-Architektur und der Architektur für große Datenmengen verwendet werden. Diese Lösung stellt eine hochverfügbare, sichere, flexible und kostengünstige Streaming-Datenanalyse-Architektur auf der AWS Cloud bereit, die Apache Spark Streaming und Amazon Kinesis-Datenstreams nutzt. Der folgende Abschnitt geht von grundlegenden Kenntnissen über die Architektur der AWS Cloud, das Streaming von Daten und die Datenanalyse aus.

Übersicht über die Implementierung der AWS-Lösung

Diese Lösung konfiguriert automatisch eine Stapel- und Echtzeit-Datenverarbeitungsarchitektur auf AWS. Die Lösung Real-Time Analytics with Spark Streaming unterstützt kundenspezifische Apache Spark Streaming-Anwendungen und nutzt Amazon EMR für die Verarbeitung riesiger Datenmengen über dynamisch skalierbare Amazon Elastic Compute Cloud (Amazon EC2)-Instances. Das folgende Diagramm zeigt die Architektur für Echtzeitanalyse, die Sie mithilfe des Einführungsleitfadens der Lösung und der dazugehörigen AWS CloudFormation-Vorlage in Minutenschnelle bereitstellen können.

Real-Time Analytics with Spark Streaming | Architekturdiagramm
 Zum Vergrößern klicken

Lösungsarchitektur für Real-Time Analytics with Spark Streaming

Diese Lösung stellt ein Amazon Virtual Private Cloud (Amazon VPC)-Netzwerk mit einem öffentlichen und einem privaten Subnetz bereit. Das öffentliche Subnetz enthält ein NAT-Gateway und einen Bastion-Host. Das private Subnetz hostet den Amazon EMR-Cluster mit Apache Zeppelin.

Verwenden Sie Ihre benutzerdefinierte Spark Streaming-Anwendung, oder setzen Sie die von AWS bereitgestellte Demo-Anwendung ein, um eine Beispiel-Datenverarbeitungsumgebung zu starten. Die Anwendung wird auf dem Amazon EMR-Cluster bereitgestellt.

Amazon Kinesis Data Streams sammelt Daten aus Datenquellen und sendet die Daten durch das NAT-Gateway an den Amazon EMR-Cluster. Nachdem die Spark Streaming-Anwendung die Daten verarbeitet hat, speichert sie die Daten in einem Amazon S3-Bucket.

Real-Time Analytics with Spark Streaming

Version 1.1.0
Zuletzt aktualisiert: 04/2020
Autor: AWS

Geschätzte Bereitstellungszeit: 15 Minuten

Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.

Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.  

Hat Ihnen diese Lösungsimplementierung geholfen?
Feedback geben 

Funktionen

Referenzimplementierung für Real-Time Analytics with Spark Streaming

Die Lösung Real-Time Analytics with Spark Streaming ist eine von AWS bereitgestellte Referenzimplementierung, die automatisch die AWS-Services bereitstellt und konfiguriert, die erforderlich sind, um innerhalb von Minuten mit der Verarbeitung von Echtzeit- und Batch-Daten zu beginnen.

Spark Streaming-Anwendung

Diese Lösung ist so konzipiert, dass Sie Ihre eigene, in Java oder Scala geschriebene Anwendung verwenden können, aber sie enthält auch eine Demo-Anwendung, die Sie zu Testzwecken einsetzen können.

Apache Zeppelin-Unterstützung

Die Lösung nutzt Apache Zeppelin, ein webbasiertes Notebook für interaktive Datenanalyse, um Kunden die Visualisierung ihrer Echtzeit- und Batch-Daten zu ermöglichen.
Entwickeln (Symbol)
Selbst eine Lösung bereitstellen

Durchsuchen Sie unsere Bibliothek der AWS-Lösungsimplementierungen, um Antworten auf häufige Architekturprobleme zu erhalten.

Weitere Informationen 
Einen APN-Partner suchen
Einen APN-Partner suchen

Finden Sie Beratungs- und Technologiepartner mit AWS-Zertifizierung, die Ihnen den Einstieg erleichtern.

Weitere Informationen 
Erkunden (Symbol)
Beratungsangebote für Lösungen erkunden

Durchsuchen Sie unser Portfolio mit Beratungsangeboten, um AWS-geprüfte Hilfe mit Lösungsbereitstellung zu erhalten.

Weitere Informationen