Übersicht
Mit der Streaming-Datenlösung für Amazon MSK können Sie Streaming-Daten mithilfe von Amazon Managed Streaming für Apache Kafka (Amazon MSK) erfassen, einem äußerst skalierbaren Speicherservice, der große Datenmengen von Datenproduzenten verarbeiten kann. Ein Produzent kann aus tausenden Datenquellen bestehen, die jeweils kontinuierlich Streaming-Daten generieren und die Datensätze typischerweise gleichzeitig und in kleinen Größen (Kilobyte) liefern.
Darüber hinaus umfassen Streaming-Daten eine Vielzahl von Daten, wie z. B. Protokolldateien, die von Kunden bei der Nutzung von Mobil- oder Webanwendungen generiert werden, Einkäufe im elektronischen Handel, Aktivitäten von Spielern in Spielen, Informationen aus sozialen Netzwerken, Finanzhandelsplätzen oder Geodiensten sowie Telemetriedaten von angeschlossenen Geräten oder Instrumenten in Rechenzentren.
Diese AWS-Lösung bietet vier AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Verbraucher und Ziele fließen. Ähnlich wie bei der Streaming-Daten-Lösung für Amazon Kinesis werden die Vorlagen so konfiguriert, dass bewährte Methoden zur Überwachung der Funktionalität und Sicherung der Daten mithilfe von Dashboards und Alarmen angewendet werden.
Vorteile
Technische Details
Sie können diese Architektur mit dem Implementierungsleitfaden und der dazugehörigen Vorlage für AWS CloudFormation automatisch bereitstellen.
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
AWS-CloudFormation-Vorlage mit Amazon Managed Streaming für Apache Kafka (Amazon MSK)
Zum Vergrößern klickenAWS-CloudFormation-Vorlage mit Amazon Managed Streaming für Apache Kafka (Amazon MSK)
Option 1 – AWS-CloudFormation-Vorlage mit Amazon MSK
Schritt 1
Diese AWS-CloudFormation-Vorlage stellt einen Amazon-Managed-Streaming- für-Apache-Kafka(MSK)-Cluster bereit.
Schritt 2
Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.Schritt 1
Diese AWS-CloudFormation-Vorlage stellt einen Amazon-Managed-Streaming- für-Apache-Kafka(MSK)-Cluster bereit.
Schritt 2
Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 2
-
AWS-CloudFormation-Vorlage mit Amazon MSK und AWS Lambda
Zum Vergrößern klickenAWS-CloudFormation-Vorlage mit Amazon MSK und AWS Lambda
Option 2 – AWS-CloudFormation-Vorlage, die Amazon MSK und AWS Lambda einsetzt
Schritt 1
Diese CloudFormation-Vorlage setzt eine AWS-Lambda-Funktion ein, die Datensätze in einem Apache Kafka-Thema verarbeitet. Bei der Standardfunktion handelt es sich um eine Node.js-Anwendung, die die empfangenen Nachrichten protokolliert. Dies kann jedoch an Ihre geschäftlichen Anforderungen angepasst werden.
Schritt 1
Diese CloudFormation-Vorlage setzt eine AWS-Lambda-Funktion ein, die Datensätze in einem Apache Kafka-Thema verarbeitet. Bei der Standardfunktion handelt es sich um eine Node.js-Anwendung, die die empfangenen Nachrichten protokolliert. Dies kann jedoch an Ihre geschäftlichen Anforderungen angepasst werden.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 3
-
AWS-CloudFormation-Vorlage mit Amazon MSK, AWS Lambda und Amazon Kinesis Data Firehose
Zum Vergrößern klickenAWS-CloudFormation-Vorlage mit Amazon MSK, AWS Lambda und Amazon Kinesis Data Firehose
Option 3 – AWS-CloudFormation-Vorlage mit Amazon MSK, AWS Lambda und Amazon Kinesis Data Firehose
Schritt 1
Eine Lambda-Funktion verarbeitet Datensätze in einem Apache-Kafka-Thema.Schritt 2
Ein Amazon-Kinesis-Data-Firehose-Bereitstellungs-Stream, puffert Daten, bevor sie an den Bestimmungsort geliefert werden.Schritt 3
Ein Amazon-Simple-Storage-Service-Bucket (Amazon S3) speichert alle Original-Ereignisse aus dem Amazon-MSK-Cluster.Schritt 1
Eine Lambda-Funktion verarbeitet Datensätze in einem Apache-Kafka-Thema.Schritt 2
Ein Amazon-Kinesis-Data-Firehose-Bereitstellungs-Stream, puffert Daten, bevor sie an den Bestimmungsort geliefert werden.Schritt 3
Ein Amazon-Simple-Storage-Service-Bucket (Amazon S3) speichert alle Original-Ereignisse aus dem Amazon-MSK-Cluster.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 4
-
AWS-CloudFormation-Vorlage unter Verwendung von Amazon MSK, Amazon Managed Service für Apache Flink und Amazon S3
Zum Vergrößern klickenAWS-CloudFormation-Vorlage unter Verwendung von Amazon MSK, Amazon Managed Service für Apache Flink und Amazon S3
Option 4 – AWS-CloudFormation-Vorlage unter Verwendung von Amazon MSK, Amazon Managed Service für Apache Flink und Amazon S3
Schritt 1
Ein Notebook von Amazon Managed Service für Apache Flink Studio, das Ereignisse aus einem vorhandenen Thema in einem Amazon-MSK-Cluster liest.Schritt 2
Ein S3-Bucket speichert die Ausgabe.Schritt 1
Ein Notebook von Amazon Managed Service für Apache Flink Studio, das Ereignisse aus einem vorhandenen Thema in einem Amazon-MSK-Cluster liest.Schritt 2
Ein S3-Bucket speichert die Ausgabe.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
Ähnliche Inhalte
Dieser Post präsentiert Muster und Lösungen zum Sichern von MSK-Themen in S3. Dadurch können Kunden die langfristigen Datenaufbewahrungseinstellungen in MSK verringern. Einige Kunden speichern langfristige Daten in MSK für Datenanalyse- und Machine Learning-Workloads. Wir teilen ein Muster, das diese Architektur vereinfacht, indem Themendaten zu S3 ausgelagert werden, und S3 für Analyse/ML verwendet.
In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.