Amazon Data Firehose
Echtzeit-Streams zuverlässig in Data Lakes, Warehouses und Analytik-Services laden
Vorteile
Streamen von Echtzeitdaten
Erfassen, transformieren und laden Sie Streaming-Daten auf einfache Art. Erstellen Sie einen Bereitstellungsdatenstrom, wählen Sie Ihr Ziel aus und starten Sie mit wenigen Klicks das Streaming von Echtzeitdaten.
Automatisch bereitstellen und skalieren
Automatische Bereitstellung und Skalierung von Computing-, Arbeitsspeicher- und Netzwerkressourcen ohne laufende Verwaltung.
Streaming-Rohdaten umwandeln
Wandeln Sie Streaming-Rohdaten in Formate wie Apache Parquet um und partitionieren Sie Streaming-Daten dynamisch, ohne eigene Verarbeitungspipelines zu entwickeln.
Funktionsweise
Amazon Data Firehose bietet die einfachste Möglichkeit, Datenströme innerhalb von Sekunden zu erfassen, zu transformieren und an Data Lakes, Data Warehouses und Analytikservices weiterzuleiten. Um Amazon Data Firehose zu verwenden, richten Sie einen Stream mit einer Quelle, einem Ziel und den erforderlichen Transformationen ein. Amazon Data Firehose verarbeitet den Stream kontinuierlich, skaliert automatisch auf Grundlage der verfügbaren Datenmenge und liefert ihn innerhalb von Sekunden.
Quelle
Wählen Sie die Quelle für Ihren Datenströme aus, z. B. ein Thema in Amazon Managed Streaming for Kafka (MSK), einen Stream in Kinesis Data Streams, oder schreiben Sie Daten mithilfe der Firehose-Direct-PUT-API. Amazon Data Firehose ist in über 20 AWS-Services integriert, sodass Sie einen Stream aus Quellen wie Amazon CloudWatch Logs, AWS WAF Web ACL Logs, AWS Network Firewall Logs, Amazon SNS oder AWS IoT einrichten können.
Datentransformation (optional)
Geben Sie an, ob Sie Ihren Datenstrom in Formate wie Parquet oder ORC konvertieren, die Daten dekomprimieren, benutzerdefinierte Datentransformationen mit Ihrer eigenen AWS-Lambda-Funktion durchführen oder Eingabedatensätze dynamisch auf der Grundlage von Attributen partitionieren möchten, um sie an verschiedene Speicherorte zu übertragen.
Ziel
Wählen Sie ein Ziel für Ihren Stream aus, z. B. Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake, Apache Iceberg Tables, Amazon S3 Tables oder einen benutzerdefinierten HTTP-Endpunkt.
Weitere Informationen zu Amazon Data Firehose finden Sie in der Dokumentation zu Amazon Data Firehose.
Anwendungsfälle
Streamen Sie in Data Lakes und Warehouses
Streamen Sie Daten in Amazon S3 und konvertieren Sie Daten in die für die Analyse erforderlichen Formate, ohne Verarbeitungspipelines zu erstellen.
Mehr Sicherheit
Überwachen Sie die Netzwerksicherheit in Echtzeit und erstellen Sie Warnungen, wenn potenzielle Bedrohungen auftreten, indem Sie unterstützte SIEM-Tools (Security Information and Event Management) verwenden.
Entwickeln Sie ML-Streaming-Anwendungen
Reichern Sie Ihre Datenströme mit Modellen des Machine Learning (ML) an, um Daten zu analysieren und Inferenzendpunkte vorherzusagen, während die Datenströme ihr Ziel erreichen.