Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose bietet die einfachste Methode zum zuverlässigen Laden von Streaming-Daten in Data Lakes, Datenspeicher und Analyse-Tools. Es kann Streaming-Daten aufzeichnen, umwandeln und in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und -Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann die Daten vor dem Laden auch in Batches unterteilen, komprimieren, transformieren und verschlüsseln, um den am Zielort verwendeten Speicherplatz zu minimieren und die Sicherheit zu erhöhen.
Sie können von der AWS Management Console aus sehr einfach einen Firehose-Bereitstellungsstream einrichten, ihn mit wenigen Klicks konfigurieren und gleich beginnen, Daten von Hunderttausenden Datenquellen zum Stream zu senden, die kontinuierlich in AWS geladen werden – und all dies in nur wenigen Minuten. Auch können Sie Ihren Bereitstellungsstream so konfigurieren, dass eingehende Daten automatisch in Spaltenformate wie Apache Parquet und Apache ORC umgewandelt werden, bevor sie an Amazon S3 übertragen werden. So ermöglichen Sie kosteneffektive Speicherung und Analysen.
Bei Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatumwandlung. Es gibt weder Mindest- noch Einrichtungsgebühr.
Vorteile
Einfache Nutzung
Amazon Kinesis Data Firehose bietet eine einfache Möglichkeit, Streaming-Daten aufzuzeichnen, zu transformieren und mit wenigen Klicks in die AWS-Managementkonsole zu laden. Sie können einfach einen Firehose-Lieferungsdatenstrom einrichten, die Ziele auswählen und gleich beginnen, Echtzeitdaten von Hunderttausenden Datenquellen gleichzeitig zu senden. Der Service übernimmt das Datenstrommanagement einschließlich Skalierung, Sharding und Überwachung, die erforderlich ist, damit die Daten in den von Ihnen angegebenen Intervallen kontinuierlich geladen werden.
Integration in AWS Data Lakes und -Datenspeicher
Amazon Kinesis Data Firehose ist in Amazon S3, Amazon Redshift und Amazon Elasticsearch Service integriert. Von der AWS-Managementkonsole aus können Sie Kinesis Data Firehose auf einen Amazon S3-Bucket, eine Amazon Redshift-Tabelle oder auf eine Amazon Elasticsearch-Domain richten. Anschließend können Sie Ihre vorhandenen Analyseanwendungen und -Tools verwenden, um die Streaming-Daten zu analysieren.
Serverlose Datenumwandlung
Amazon Kinesis Data Firehose ermöglicht Ihnen, Ihre Streaming-Daten vorzubereiten, bevor Sie diese in Datenspeicher laden. Mit Kinesis Data Firehose können Sie unbearbeitete Streaming-Daten aus Ihren Datenquellen leicht in Formate umwandeln, die von Ihren Zieldatenspeichern verlangt werden, ohne eigene Datenverarbeitungs-Pipelines zu erstellen. Weitere Informationen »
Fast in Echtzeit
Amazon Kinesis Data Firehose zeichnet Daten auf und lädt sie fast in Echtzeit. Neue Daten werden in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk innerhalb von 60 Sekunden geladen, nachdem die Daten an den Service gesendet wurden. Das Ergebnis ist, dass Sie eher auf neue Daten zugreifen und schneller auf geschäftliche und betriebliche Ereignisse reagieren können.
Keine fortlaufende Verwaltung
Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch die zum Laden Ihrer Streaming-Daten erforderlichen Rechen-, Speicher- und Netzwerkressourcen bereitstellt, verwaltet und skaliert. Nachdem Kinesis Data Firehose eingerichtet ist, werden Daten kontinuierlich geladen, sobald sie eintreffen.
Sie zahlen nur für die Module, die Sie nutzen
Bei Amazon Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatumwandlung. Es fallen weder Mindestgebühren noch Vorausleistungen an.
Funktionsweise
Anwendungsfälle
Amazon Kinesis Data Firehose bietet die einfachste Methode zum zuverlässigen Laden von Streaming-Daten in Data Lakes, Datenspeicher und Analyse-Tools. Es kann Streaming-Daten aufzeichnen, umwandeln und in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und -Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Nachfolgend finden Sie Beispiele der wichtigsten Anwendungsbereiche, mit denen sich unsere Kunden bei der Verwendung von Amazon Kinesis Firehose befassen.
IoT Analytics
Mit Amazon Kinesis Data Firehose können Sie kontinuierlich Daten von angeschlossenen Geräten erfassen, etwa Verbrauchsgeräte, eingebettete Sensoren und TV-Set-Top-Boxen. Kinesis Data Firehose lädt die Daten in Amazon S3 und Amazon Redshift, sodass Sie Ihren Kunden echtzeitnahen Zugriff auf Metriken, Einblicke und Dashboards bereitstellen können.
Clickstream-Analysen
Sie können Amazon Kinesis Data Firehose verwenden, um die Bereitstellung von Echtzeit-Metriken über digitales Inhalte zu ermöglichen, sodass Autoren und Marketingfachleute auf effektive Weise Verbindung mit ihren Kunden aufnehmen können. Sie können Milliarden von kleinen Nachrichten streamen, die komprimiert, verschlüsselt und zu Amazon Elasticsearch Service und Amazon Redshift übertragen werden. Von dort können Sie die Daten zusammenfassen, filtern und verarbeiten. Außerdem können Sie Inhaltsleistungs-Dashboards fast in Echtzeit aktualisieren. Hearst Corporation beispielsweise hat mit Kinesis Data Firehose eine Clickstream-Analyseplattform erstellt, die pro Tag 30 TB Daten von mehr als 300 Hearst-Websites verarbeitet und in alle Welt überträgt. Über diese Plattform kann Hearst den gesamten Datenstrom – von Website-Klicks zu kumulierten Metriken – Redakteuren innerhalb weniger Minuten zur Verfügung stellen. Die Fallstudie lesen »
Protokollanalyse
Die Protokolldaten Ihrer lokal und in der Cloud ausgeführten Anwendungen und Server helfen Ihnen bei der Anwendungsüberwachung und der schnellen Problembehebung. Anwendungsfehler beispielsweise erkennen Sie, sobald sie auftreten, und die Ursache finden Sie durch Erfassung, Überwachung und Analyse der Protokolldaten heraus. Hierzu lässt sich der Amazon Kinesis Agent problemlos auf Ihren Servern installieren und konfigurieren, der die Protokolldateien Ihrer Anwendungen und Server automatisch überwacht und die Daten an Kinesis Data Firehose sendet. Kinesis Data Firehose streamt die Protokolldaten fortlaufend an Amazon Elasticsearch Service, sodass Sie die Daten in Kibana visualisieren und analysieren können.
Sicherheitsüberwachung
Kinesis Data Firehose unterstützt Splunk als Ziel. Sie können daher Protokolle zu Ihren Netzwerkdatenflüssen erfassen und an Kinesis Data Firehose senden, das die Daten dann umwandeln, erweitern und in Splunk laden kann. Mit dieser Lösung können Sie die Netzwerksicherheit in Echtzeit überwachen und sich bei einer möglichen Bedrohung warnen lassen.
Fallbeispiele
Blog-Beiträge
Streamen von Daten in eine Aurora PostgreSQL-Datenbank
Easy data ingestion into Splunk
Unite real-time and batch analytics
Serverless scaling for ingesting, aggregating, and visualizing Apache logs
Stream your data from Amazon DynamoDB to Amazon Aurora
Visualize and refine your network’s security
Erste Schritte mit Amazon Kinesis Data Firehose
Machen Sie sich im Entwicklerhandbuch mit Kinesis Data Firehose vertraut.
Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent.
Sammeln Sie praktische Erfahrungen mit diesem Tutorial.
Weitere Informationen zu den Funktionen von Amazon Kinesis Data Firehose
