Amazon Kinesis Data Firehose

Vorbereiten und Laden von Echtzeitdatenströmen in Datenspeicher und Analyse-Tools

Erste Schritte mit Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose bietet die einfachste Methode zum zuverlässigen Laden von Streaming-Daten in Data Lakes, Datenspeicher und Analyse-Tools. Es kann Streaming-Daten aufzeichnen, umwandeln und in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und -Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann die Daten vor dem Laden auch in Batches unterteilen, komprimieren, transformieren und verschlüsseln, um den am Zielort verwendeten Speicherplatz zu minimieren und die Sicherheit zu erhöhen.

Sie können von der AWS Management Console aus sehr einfach einen Firehose-Bereitstellungsstream einrichten, ihn mit wenigen Klicks konfigurieren und gleich beginnen, Daten von Hunderttausenden Datenquellen zum Stream zu senden, die kontinuierlich in AWS geladen werden – und all dies in nur wenigen Minuten. Auch können Sie Ihren Bereitstellungsstream so konfigurieren, dass eingehende Daten automatisch in Spaltenformate wie Apache Parquet und Apache ORC umgewandelt werden, bevor sie an Amazon S3 übertragen werden. So ermöglichen Sie kosteneffektive Speicherung und Analysen.

Bei Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatumwandlung. Es gibt weder Mindest- noch Einrichtungsgebühr.

Video: Was ist Amazon Kinesis Data Firehose?

Vorteile

Einfache Nutzung

Amazon Kinesis Data Firehose bietet eine einfache Möglichkeit, Streaming-Daten aufzuzeichnen, zu transformieren und mit wenigen Klicks in die AWS-Managementkonsole zu laden. Sie können einfach einen Firehose-Lieferungsdatenstrom einrichten, die Ziele auswählen und gleich beginnen, Echtzeitdaten von Hunderttausenden Datenquellen gleichzeitig zu senden. Der Service übernimmt das Datenstrommanagement einschließlich Skalierung, Sharding und Überwachung, die erforderlich ist, damit die Daten in den von Ihnen angegebenen Intervallen kontinuierlich geladen werden.

Integration in AWS Data Lakes und -Datenspeicher

Amazon Kinesis Data Firehose ist in Amazon S3, Amazon Redshift und Amazon Elasticsearch Service integriert. Von der AWS-Managementkonsole aus können Sie Kinesis Data Firehose auf einen Amazon S3-Bucket, eine Amazon Redshift-Tabelle oder auf eine Amazon Elasticsearch-Domain richten. Anschließend können Sie Ihre vorhandenen Analyseanwendungen und -Tools verwenden, um die Streaming-Daten zu analysieren.

Serverlose Datenumwandlung

Amazon Kinesis Data Firehose ermöglicht Ihnen, Ihre Streaming-Daten vorzubereiten, bevor Sie diese in Datenspeicher laden. Mit Kinesis Data Firehose können Sie unbearbeitete Streaming-Daten aus Ihren Datenquellen leicht in Formate umwandeln, die von Ihren Zieldatenspeichern verlangt werden, ohne eigene Datenverarbeitungs-Pipelines zu erstellen. Weitere Informationen »

Fast in Echtzeit

Amazon Kinesis Data Firehose zeichnet Daten auf und lädt sie fast in Echtzeit. Neue Daten werden in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk innerhalb von 60 Sekunden geladen, nachdem die Daten an den Service gesendet wurden. Das Ergebnis ist, dass Sie eher auf neue Daten zugreifen und schneller auf geschäftliche und betriebliche Ereignisse reagieren können.

Keine fortlaufende Verwaltung

Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch die zum Laden Ihrer Streaming-Daten erforderlichen Rechen-, Speicher- und Netzwerkressourcen bereitstellt, verwaltet und skaliert. Nachdem Kinesis Data Firehose eingerichtet ist, werden Daten kontinuierlich geladen, sobald sie eintreffen.

Sie zahlen nur für die Module, die Sie nutzen

Bei Amazon Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatumwandlung. Es fallen weder Mindestgebühren noch Vorausleistungen an.

Funktionsweise

product-page-diagram_Amazon-Kinesis-Data-Firehose

Anwendungsfälle

Amazon Kinesis Data Firehose bietet die einfachste Methode zum zuverlässigen Laden von Streaming-Daten in Data Lakes, Datenspeicher und Analyse-Tools. Es kann Streaming-Daten aufzeichnen, umwandeln und in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und -Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Nachfolgend finden Sie Beispiele der wichtigsten Anwendungsbereiche, mit denen sich unsere Kunden bei der Verwendung von Amazon Kinesis Firehose befassen.

IoT Analytics

Mit Amazon Kinesis Data Firehose können Sie kontinuierlich Daten von angeschlossenen Geräten erfassen, etwa Verbrauchsgeräte, eingebettete Sensoren und TV-Set-Top-Boxen. Kinesis Data Firehose lädt die Daten in Amazon S3 und Amazon Redshift, sodass Sie Ihren Kunden echtzeitnahen Zugriff auf Metriken, Einblicke und Dashboards bereitstellen können.

Clickstream-Analysen

Sie können Amazon Kinesis Data Firehose verwenden, um die Bereitstellung von Echtzeit-Metriken über digitales Inhalte zu ermöglichen, sodass Autoren und Marketingfachleute auf effektive Weise Verbindung mit ihren Kunden aufnehmen können. Sie können Milliarden von kleinen Nachrichten streamen, die komprimiert, verschlüsselt und zu Amazon Elasticsearch Service und Amazon Redshift übertragen werden. Von dort können Sie die Daten zusammenfassen, filtern und verarbeiten. Außerdem können Sie Inhaltsleistungs-Dashboards fast in Echtzeit aktualisieren. Hearst Corporation beispielsweise hat mit Kinesis Data Firehose eine Clickstream-Analyseplattform erstellt, die pro Tag 30 TB Daten von mehr als 300 Hearst-Websites verarbeitet und in alle Welt überträgt. Über diese Plattform kann Hearst den gesamten Datenstrom – von Website-Klicks zu kumulierten Metriken – Redakteuren innerhalb weniger Minuten zur Verfügung stellen. Die Fallstudie lesen »

Protokollanalyse

Die Protokolldaten Ihrer lokal und in der Cloud ausgeführten Anwendungen und Server helfen Ihnen bei der Anwendungsüberwachung und der schnellen Problembehebung. Anwendungsfehler beispielsweise erkennen Sie, sobald sie auftreten, und die Ursache finden Sie durch Erfassung, Überwachung und Analyse der Protokolldaten heraus. Hierzu lässt sich der Amazon Kinesis Agent problemlos auf Ihren Servern installieren und konfigurieren, der die Protokolldateien Ihrer Anwendungen und Server automatisch überwacht und die Daten an Kinesis Data Firehose sendet. Kinesis Data Firehose streamt die Protokolldaten fortlaufend an Amazon Elasticsearch Service, sodass Sie die Daten in Kibana visualisieren und analysieren können.

Sicherheitsüberwachung

Kinesis Data Firehose unterstützt Splunk als Ziel. Sie können daher Protokolle zu Ihren Netzwerkdatenflüssen erfassen und an Kinesis Data Firehose senden, das die Daten dann umwandeln, erweitern und in Splunk laden kann. Mit dieser Lösung können Sie die Netzwerksicherheit in Echtzeit überwachen und sich bei einer möglichen Bedrohung warnen lassen.