Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose bietet die einfachste Methode, Streaming-Daten zuverlässig in Data Lakes, Datenspeicher und Analyseservices zu laden. Es kann Streaming-Daten aufnehmen, transformieren und für Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, generische HTTP-Endpunkte und Serviceanbieter wie Datadog, New Relic, MongoDB und Splunk bereitstellen. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann Ihre Datenströme vor dem Laden auch in Batches unterteilen, komprimieren, transformieren und verschlüsseln, um den genutzten Speicherplatz zu minimieren und die Sicherheit zu erhöhen.
Sie können über die AWS-Managementkonsole sehr einfach einen Firehose-Bereitstellungsstream einrichten, ihn mit wenigen Klicks konfigurieren und gleich damit beginnen, Streaming-Daten aus Hunderttausenden Datenquellen in Ihre definierten Ziele aufzunehmen. Auch können Sie Ihren Datenströme so konfigurieren, dass eingehende Daten automatisch umgewandelt werden, um sie in standardisierten Formaten wie Apache Parquet und Apache ORC zu öffnen, bevor sie übertragen werden.
Mit Amazon Kinesis Data Firehose fallen keine Mindest- oder Einrichtungsgebühren an. Sie zahlen für die Daten, die Sie über den Dienst übertragen, für die Umwandlung von Datenformaten (falls zutreffend) und für die Bereitstellung in und die Datenübertragung nach Amazon VPC.
Vorteile
Einfache Nutzung
Amazon Kinesis Data Firehose bietet eine einfache Möglichkeit, Streaming-Daten aufzuzeichnen, zu transformieren und mit wenigen Klicks in die AWS-Managementkonsole zu laden. Sie können schnell einen Firehose-Bereitstellungsstream einrichten, die Ziele auswählen und gleich damit beginnen, Echtzeitdaten von Hunderttausenden Datenquellen gleichzeitig zu senden. Der Service übernimmt das Datenstrommanagement, einschließlich Skalierung, Sharding und Überwachung, die erforderlich sind, damit die Daten in den von Ihnen angegebenen Intervallen kontinuierlich geladen werden.
Integration mit AWS-Services und Serviceanbietern
Amazon Kinesis Data Firehose ist in Amazon S3, Amazon Redshift und Amazon Elasticsearch Service integriert. Diese Lösung ist außerdem in der Lage, Daten an generische HTTP-Endpunkte zu senden und direkt an Serviceanbieter wie Datadog, New Relic, MongoDB und Splunk bereitzustellen. Über die AWS-Managementkonsole können Sie Kinesis Data Firehose für Ziele Ihrer Wahl definieren und Ihre bestehenden Anwendungen und Tools zum Analysieren von Streaming-Daten verwenden.
Serverlose Datenumwandlung
Amazon Kinesis Data Firehose ermöglicht Ihnen, Ihre Streaming-Daten vorzubereiten, bevor Sie diese in Datenspeicher laden. Mit Kinesis Data Firehose können Sie unbearbeitete Streaming-Daten aus Ihren Datenquellen leicht in Formate wie Apache Parquet and Apache ORC umwandeln, die von Ihren Zieldatenspeichern verlangt werden, ohne eigene Datenverarbeitungs-Pipelines zu erstellen. Weitere Informationen »
Nahezu in Echtzeit
Amazon Kinesis Data Firehose zeichnet Daten auf und lädt sie nahezu in Echtzeit. Es lädt neue Daten innerhalb von 60 Sekunden, nachdem die Daten an den Service gesendet wurden. Im Ergebnis können Sie eher auf neue Daten zugreifen und schneller auf geschäftliche und betriebliche Ereignisse reagieren.
Keine fortlaufende Verwaltung
Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch die zum Laden und Verarbeiten Ihrer Streaming-Daten erforderlichen Rechen-, Speicher- und Netzwerkressourcen bereitstellt, verwaltet und skaliert. Nach der Einrichtung lädt Kinesis Data Firehose die eingehenden Datenströme kontinuierlich in Ihre Ziele.
Nutzungsbasierte Abrechnung
Bei Amazon Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Umwandlung des Datenformats. Sie zahlen ggf. außerdem für die Amazon-VPC-Bereitstellung und -Datenübertragung. Es fallen weder Mindestgebühren noch Vorausleistungen an.
Funktionsweise
Anwendungsfälle
Amazon Kinesis Data Firehose bietet die einfachste Methode, Streaming-Daten zuverlässig in Data Lakes, Datenspeicher und Analyse-Tools zu laden. Nachfolgend finden Sie Beispiele der wichtigsten Anwendungsbereiche, mit denen sich unsere Kunden bei der Verwendung von Amazon Kinesis Data Firehose befassen.
IoT Analytics
Mit Amazon Kinesis Data Firehose können Sie kontinuierlich Daten von angeschlossenen Geräten erfassen, etwa Elektronikgeräte, eingebettete Sensoren und TV-Set-Top-Boxen. Kinesis Data Firehose lädt die Daten in die von Ihnen definierten Ziele und ermöglicht damit einen Zugriff auf Metriken, Einblicke und Dashboards nahezu in Echtzeit.
Clickstream-Analysen
Sie können Amazon Kinesis Data Firehose verwenden, um Echtzeit-Clickstream-Daten aufzunehmen und damit Marketingfachleute in die Lage versetzen, auf effektive Weise Verbindungen mit ihren Kunden aufzunehmen. Sie können Milliarden von kleinen Nachrichten streamen, die komprimiert, verschlüsselt und an die von Ihnen definierten Ziele übertragen werden. Von dort können Sie die Daten zusammenfassen, filtern und verarbeiten. Außerdem können Sie Inhaltsleistungs-Dashboards nahezu in Echtzeit aktualisieren.
Protokollanalyse
Sie erkennen Anwendungsfehler, sobald sie auftreten, und finden so die Ursache durch Erfassung, Überwachung und Analyse der Protokolldaten heraus. Hierzu lässt sich der Amazon Kinesis Agent problemlos auf Ihren Servern installieren und konfigurieren, der die Protokolldateien Ihrer Anwendungen und Server automatisch überwacht und die Daten an Kinesis Data Firehose sendet. Kinesis Data Firehose streamt die Protokolldaten fortlaufend an die von Ihnen definierten Ziele, sodass Sie die Daten visualisieren und analysieren können.
Sicherheitsüberwachung
Kinesis Data Firehose unterstützt Splunk als Ziel. Sie können daher Protokolle zu Ihren Netzwerkdatenflüssen erfassen und an Kinesis Data Firehose senden, das die Daten dann umwandeln, erweitern und in Splunk laden kann. Mit dieser Lösung können Sie die Netzwerksicherheit in Echtzeit überwachen und sich bei einer möglichen Bedrohung warnen lassen.
Fallbeispiele
Blog-Beiträge
Erste Schritte mit Amazon Kinesis Data Firehose
Machen Sie sich im Entwicklerhandbuch mit Kinesis Data Firehose vertraut.
Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent.
Sammeln Sie praktische Erfahrungen mit diesem Tutorial.
Weitere Informationen zu den Funktionen von Amazon Kinesis Data Firehose