« Analytik

Amazon Data Firehose

Echtzeit-Streams zuverlässig in Data Lakes, Warehouses und Analytik-Services laden

Einfaches Erfassen, Transformieren und Laden von Streaming-Daten. Erstellen Sie einen Bereitstellungsdatenstrom, wählen Sie Ihr Ziel aus und starten Sie mit wenigen Klicks das Streaming von Echtzeitdaten.

Automatische Bereitstellung und Skalierung von Computing-, Arbeitsspeicher- und Netzwerkressourcen ohne laufende Verwaltung.

Wandeln Sie Streaming-Rohdaten in Formate wie Apache Parquet um und partitionieren Sie Streaming-Daten dynamisch, ohne eigene Verarbeitungspipelines zu entwickeln.

Funktionsweise

Amazon Data Firehose bietet die einfachste Möglichkeit, Datenströme innerhalb von Sekunden zu erfassen, zu transformieren und an Data Lakes, Data Warehouses und Analyseservices weiterzuleiten. Um Amazon Data Firehose zu verwenden, richten Sie einen Stream mit einer Quelle, einem Ziel und den erforderlichen Transformationen ein. Amazon Data Firehose verarbeitet den Stream kontinuierlich, skaliert automatisch auf Grundlage der verfügbaren Datenmenge und liefert ihn innerhalb von Sekunden.

Quelle

Wählen Sie die Quelle für Ihren Datenströme aus, z. B. ein Thema in Amazon Managed Streaming for Kafka (MSK), einen Stream in Kinesis Data Streams, oder schreiben Sie Daten mithilfe der Firehose-Direct-PUT-API. Amazon Data Firehose ist in über 20 AWS-Services integriert, sodass Sie einen Stream aus Quellen wie Amazon CloudWatch Logs, AWS WAF Web ACL Logs, AWS Network Firewall Logs, Amazon SNS oder AWS IoT einrichten können.

Datentransformation (optional)

Geben Sie an, ob Sie Ihren Datenstrom in Formate wie Parquet oder ORC konvertieren, die Daten dekomprimieren, benutzerdefinierte Datentransformationen mit Ihrer eigenen AWS-Lambda-Funktion durchführen oder Eingabedatensätze dynamisch auf der Grundlage von Attributen partitionieren möchten, um sie an verschiedene Speicherorte zu übertragen.

Ziel

Wählen Sie ein Ziel für Ihren Stream aus, z. B. Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake oder einen benutzerdefinierten HTTP-Endpunkt.

Weitere Informationen zu Amazon Data Firehose finden Sie in der Amazon-Data-Firehose-Dokumentation.

Diagramm, das zeigt, wie Sie Datenlieferströme mit Amazon Firehose einrichten. Beschrieben unter dem Link „Vergrößern und Bildbeschreibung lesen“.

Anwendungsfälle

Streamen Sie in Data Lakes und Warehouses

Streamen Sie Daten in Amazon S3 und konvertieren Sie Daten in die für die Analyse erforderlichen Formate, ohne Verarbeitungspipelines zu erstellen.

Mehr Sicherheit

Überwachen Sie die Netzwerksicherheit in Echtzeit und erstellen Sie Warnungen, wenn potenzielle Bedrohungen auftreten, indem Sie unterstützte SIEM-Tools (Security Information and Event Management) verwenden.

Entwickeln Sie ML-Streaming-Anwendungen

Reichern Sie Ihre Datenströme mit Modellen des Machine Learning (ML) an, um Daten zu analysieren und Inferenzendpunkte vorherzusagen, während die Datenströme ihr Ziel erreichen.