Streaming-Datenlösung für Amazon MSK

Kontinuierliche Erfassung von Daten zur Verarbeitung mithilfe eines skalierbaren und dauerhaften Echtzeit-Datenstrom-Services

Übersicht

Mit der Streaming-Datenlösung für Amazon MSK können Sie Streaming-Daten mithilfe von Amazon Managed Streaming für Apache Kafka (Amazon MSK) erfassen, einem äußerst skalierbaren Speicherservice, der große Datenmengen von Datenproduzenten verarbeiten kann. Ein Produzent kann aus tausenden Datenquellen bestehen, die jeweils kontinuierlich Streaming-Daten generieren und die Datensätze typischerweise gleichzeitig und in kleinen Größen (Kilobyte) liefern.

Darüber hinaus umfassen Streaming-Daten eine Vielzahl von Daten, wie z. B. Protokolldateien, die von Kunden bei der Nutzung von Mobil- oder Webanwendungen generiert werden, Einkäufe im elektronischen Handel, Aktivitäten von Spielern in Spielen, Informationen aus sozialen Netzwerken, Finanzhandelsplätzen oder Geodiensten sowie Telemetriedaten von angeschlossenen Geräten oder Instrumenten in Rechenzentren.

Diese AWS-Lösung bietet vier AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Verbraucher und Ziele fließen. Ähnlich wie bei der Streaming-Daten-Lösung für Amazon Kinesis werden die Vorlagen so konfiguriert, dass bewährte Methoden zur Überwachung der Funktionalität und Sicherung der Daten mithilfe von Dashboards und Alarmen angewendet werden.

Anwendungsfälle für diese AWS-Lösung
  • Überschrift
Weitere Informationen ...

Vorteile

Automatisierte Konfiguration
Konfigurieren Sie AWS-Services automatisch, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind.
Vier Vorlagenoptionen
Wählen Sie aus vier verschiedenen AWS CloudFormation-Vorlagenoptionen. Testen Sie neue Servicekombinationen für Ihre Produktionsumgebung und verbessern Sie bestehende Anwendungen.
Echtzeitanwendungsfälle
Erfassen Sie Anwendungsprotokolle mit hohem Volumen, analysieren Sie Clickstream-Daten, stellen Sie dauerhaft an einen Data Lake bereit und vieles mehr.
Anpassbarer Sourcecode
Passen Sie den Boilerplate-Code der Lösung an und nutzen Sie dann die Überwachungsfunktionen, um schnell von der Testphase in die Produktion überzugehen.

Technische Details

Sie können diese Architektur mit dem Implementierungsleitfaden und der dazugehörigen Vorlage für AWS CloudFormation automatisch bereitstellen.

AWS-Architekturblog
Amazon MSK-Sicherung für Archivierung, Wiedergabe oder Analyse

Dieser Post präsentiert Muster und Lösungen zum Sichern von MSK-Themen in S3. Dadurch können Kunden die langfristigen Datenaufbewahrungseinstellungen in MSK verringern. Einige Kunden speichern langfristige Daten in MSK für Datenanalyse- und Machine Learning-Workloads. Wir teilen ein Muster, das diese Architektur vereinfacht, indem Themendaten zu S3 ausgelagert werden, und S3 für Analyse/ML verwendet.

Blog lesen 
Training
Data Analytics Fundamentals

In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.

Jetzt anmelden 

War diese Seite hilfreich?