Was ist ein Datenstrom in Echtzeit?
Datenstrom in Echtzeit beinhaltet das Sammeln und Aufnehmen einer Reihe von Daten aus verschiedenen Datenquellen und die Verarbeitung dieser Daten in Echtzeit, um Bedeutung und Erkenntnisse zu gewinnen.
Dazu gehören eine Vielzahl an Daten, wie Protokolldateien, die von Kunden auf Ihren Mobil- oder Webanwendungen generiert werden, E-Commerce-Einkäufe, Spieleraktivitäten, Informationen von sozialen Netzwerken, Börsenmarktinformationen oder raumbezogene Daten und Telemetriedaten von verbundenen Geräten oder Instrumenten in Rechenzentren.
Ein Datenstrom in Echtzeit ermöglicht es Ihnen, Daten in Echtzeit zu analysieren und zu verarbeiten, anstatt Stunden, Tage oder Wochen auf Antworten zu warten.
Was sind die Komponenten eines Echtzeit-Datenstroms?
Quelle: Bis zu Hunderttausende von Geräten oder Anwendungen, die große Mengen an kontinuierlichen Daten mit hoher Geschwindigkeit erzeugen. Beispiele hierfür sind mobile Geräte, Webanwendungen (Clickstream), Anwendungsprotokolle, IoT-Sensoren, intelligente Geräte und Spieleanwendungen.
Stream-Aufnahme: Einfache Integration mit über 15 AWS-Services (Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch und mehr), mit der Sie kontinuierliche Daten, die von Tausenden von Geräten erzeugt werden, dauerhaft und sicher erfassen können.
Stream-Speicher: Wählen Sie eine Lösung, die Ihren Speicheranforderungen auf der Grundlage von Skalierungs-, Latenz- und Verarbeitungsanforderungen entspricht, wie Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon Managed Streaming für Apache Kafka (Amazon MSK).
Stream-Verarbeitung: Wählen Sie aus einer Auswahl an Services, die von Lösungen, die nur ein paar Klicks erfordern, um Daten zu transformieren und kontinuierlich an ein Ziel wie Amazon Kinesis Data Firehose zu liefern, bis hin zu leistungsstarken, maßgeschneiderten Echtzeitanwendungen und Integration von Machine Learning mithilfe von Services wie Amazon Managed Service für Apache Flink und AWS Lambda.
Ziel: Übermitteln Sie Streaming-Daten an eine Auswahl von vollständig integrierten Data Lakes, Data Warehouses und Analysediensten zur weiteren Analyse oder Langzeitspeicherung, wie Amazon S3, Amazon Redshift, Amazon OpenSearch Service und Amazon EMR.
Was sind Anwendungsfälle für Datenstreaming in Echtzeit?
Datenübermittlung in Echtzeit
Das Streamen von Daten von Hunderttausenden von Geräten und die Durchführung von ETL-Transformationen an großen Mengen kontinuierlicher Hochgeschwindigkeitsdaten in Echtzeit ermöglichen es Benutzern, Daten zu analysieren, sobald sie erstellt wurden, und die Daten dann dauerhaft in einem Data Lake, Data Warehouse oder einer Datenbank zur weiteren Analyse zu speichern.
Erfahren Sie, wie John Deere ETL in Echtzeit in seinen Data Lake streamt
Echtzeitanalysen
Analysieren Sie Daten, sobald sie vorliegen, und ermöglichen Sie unternehmensweit Entscheidungen in Echtzeit, um Chancen zu nutzen, das Kundenerlebnis zu verbessern, Netzwerkausfälle zu verhindern oder wichtige Geschäftskennzahlen in Echtzeit zu aktualisieren.
Protokolle: Erfassen, verarbeiten und analysieren Sie Protokolle aus Ihren Anwendungen in Echtzeit.
Lesen Sie, wie Sie das Nutzerverhalten in Echtzeit analysieren können
Erfahren Sie, wie Sie Ihren VPC-Netzwerkverkehr analysieren und visualisieren können
Erfahren Sie, wie Sie zentralisierte Microsoft Exchange-Serverprotokolle verwalten
Lesen Sie mehr über Protokoll-Analysen >>
Updates in Echtzeit: Interagieren Sie mit Verbrauchern, Spielern, Finanzhändlern und anderen, indem Sie wichtige Entscheidungskennzahlen, Empfehlungen und Kundenerlebnisse in Echtzeit aktualisieren.
Erfahren Sie, wie Sie Gaming-Analysen in Echtzeit nutzen können, um Ihre Gamer zu begeistern
Erfahren Sie, wie Sie aktuelle, personalisierte Nachrichten in Echtzeit bereitstellen
Clickstream: Verschaffen Sie sich einen Echtzeit-Überblick über die Leistung Ihrer Webinhalte und die Interaktion der Benutzer mit Ihren Anwendungen und Webseiten, einschließlich des Benutzerverhaltens, der verbrachten Zeit, der beliebtesten Inhalte und mehr.
IoT: Stellen Sie eine Verbindung zu Hunderttausenden von IoT-Geräten her und sammeln, verarbeiten und analysieren Sie die Streaming-Daten in Echtzeit.
Verarbeitung von Event-Streams
Erfassen Sie Ereignisse in Echtzeit und reagieren Sie auf sie in mehreren Anwendungen. Die häufigsten Anwendungsfälle sind die Kommunikation zwischen Hunderten von entkoppelten Microservices und die Verwaltung eines Aufzeichnungssystems über Change Data Capture.
Kommunikation zwischen entkoppelten Mikrodiensten: Wenn ein Mikrodienst ausgelöst wird, kann ein Ereignis in Echtzeit an einen Datenstrom gesendet werden, und andere Mikrodienste können den Stream „beobachten“, um festzustellen, ob ein Ereignis eingetreten ist, um die erforderliche Aktion auszulösen.
Erfahren Sie, wie Lyft in Echtzeit zwischen Hunderten von Microservices kommuniziert
Datenänderungserfassung: Alle Änderungen an Daten in verschiedenen Anwendungen und Datenbanken können in Echtzeit an ein zentrales Aufzeichnungssystem gestreamt werden.
Erfahren Sie, wie Sie Change Data Capture-Daten aus relationalen Datenbanken laden
Erfahren Sie, wie Sie Change Data Capture in Echtzeit streamen können
Welche Streaming-Dienste gibt es auf AWS?
AWS bietet mehrere Optionen für die Arbeit mit einem Datenstrom.
- Amazon Kinesis Data Streams ist ein skalierbarer und dauerhafter Streaming-Service für Echtzeitdaten, der kontinuierlich pro Sekunde Datenvolumen im Gigabyte-Bereich aus Hunderttausenden von Quellen aufnehmen kann.
- Amazon Kinesis Data Firehose erfasst, transformiert und lädt Datenstreams in AWS-Datenspeicher, damit sie dann in Echtzeit mit vorhandenen Business Intelligence-Tools analysiert werden können.
- Amazon Managed Service für Apache Flink transformiert und analysiert in Echtzeit Streaming-Daten mithilfe von Apache Flink, einem Open-Source-Framework und einer Engine zur Verarbeitung von Datenströmen.
- Amazon Managed Streaming for Apache Kafka ist ein vollständig verwalteter Service, mit dem Sie ganz leicht Anwendungen erstellen und ausführen können, die Apache Kafka zur Verarbeitung von Streaming-Daten nutzen.
Beginnen Sie mit Echtzeit-Datenstreaming auf AWS, indem Sie noch heute ein Konto erstellen.
Nächste Schritte in AWS
Sie erhalten sofort Zugriff auf das kostenlose Kontingent von AWS.
Starten Sie mit der Entwicklung in der AWS-Managementkonsole.