Amazon Kinesis Firehose
AWS Cloud
Erste Schritte mit Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose bietet die einfachste Methode zum Laden von Streaming-Daten in Datenspeicher und Analyse-Tools. Es kann Streaming-Daten aufzeichnen, umwandeln und in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und -Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann die Daten vor dem Laden auch in Batches unterteilen, komprimieren und verschlüsseln, um den am Zielort verwendeten Speicherplatz zu minimieren und die Sicherheit zu erhöhen.

Sie können von der AWS Management Console aus sehr einfach einen Firehose-Bereitstellungsstream einrichten, ihn mit wenigen Klicks konfigurieren und gleich beginnen, Daten von Hunderttausenden Datenquellen zum Stream zu senden, die kontinuierlich in AWS geladen werden – und all dies in nur wenigen Minuten.

Bei Amazon Kinesis Data Firehose bezahlen Sie nur für die Datenmenge, die Sie durch den Service übertragen. Es gibt weder Mindest- noch Einrichtungsgebühr.

Amazon Kinesis Firehose



KinesisAnalytics_LP_EasyToUse

Amazon Kinesis Data Firehose bietet eine einfache Möglichkeit, Streaming-Daten aufzuzeichnen und mit wenigen Klicks in die AWS-Managementkonsole zu laden. Sie können einfach einen Firehose-Lieferungsdatenstrom einrichten, die Ziele auswählen und gleich beginnen, Echtzeitdaten von Hunderttausenden Datenquellen gleichzeitig zu senden. Der Service übernimmt das Datenstrommanagement einschließlich Skalierung, Sharding und Überwachung, die erforderlich ist, damit die Daten in den von Ihnen angegebenen Intervallen kontinuierlich geladen werden.

KinesisAnalytics_LP_FullyManaged

Amazon Kinesis Data Firehose ist in Amazon S3, Amazon Redshift und Amazon Elasticsearch Service integriert. Von der AWS-Managementkonsole aus können Sie Kinesis Data Firehose auf einen Amazon S3-Bucket, eine Amazon Redshift-Tabelle oder auf eine Amazon Elasticsearch-Domain richten. Anschließend können Sie Ihre vorhandenen Analyseanwendungen und -Tools verwenden, um die Streaming-Daten zu analysieren.

KinesisAnalytics_LP_AutomaticElasticity

Amazon Kinesis Data Firehose ermöglicht Ihnen, Ihre Streaming-Daten vorzubereiten, bevor Sie diese in Datenspeicher laden. Mit Kinesis Data Firehose können Sie unbearbeitete Streaming-Daten aus Ihren Datenquellen leicht in Formate umwandeln, die von Ihren Zieldatenspeichern verlangt werden, ohne eigene Datenverarbeitungs-Pipelines zu erstellen. Weitere Informationen »

KinesisAnalytics_LP_RealTimeProcessing

Amazon Kinesis Data Firehose zeichnet Daten auf und lädt sie fast in Echtzeit. Neue Daten werden in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk innerhalb von 60 Sekunden geladen, nachdem die Daten an den Service gesendet wurden. Das Ergebnis ist, dass Sie eher auf neue Daten zugreifen und schneller auf geschäftliche und betriebliche Ereignisse reagieren können.

benefit_Fully-Managed

Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch die zum Laden Ihrer Streaming-Daten erforderlichen Rechen-, Speicher- und Netzwerkressourcen bereitstellt, verwaltet und skaliert. Nachdem Kinesis Data Firehose eingerichtet ist, werden Daten kontinuierlich geladen, sobald sie eintreffen.

KinesisAnalytics_LP_PayForUse

Bei Amazon Kinesis Data Firehose zahlen Sie nur für das über den Service übertragene Datenvolumen. Es fallen weder Mindestgebühren noch Vorausleistungen an.

Mit Amazon Kinesis Data Firehose können Sie kontinuierlich Daten von angeschlossenen Geräten erfassen, etwa Verbrauchsgeräte, eingebettete Sensoren und TV-Set-Top-Boxen. Amazon Kinesis Data Firehose lädt die Daten in Amazon Redshift, sodass Sie Ihren Kunden echtzeitnahen Zugriff auf Metriken, Einblicke und Dashboards bereitstellen können.

firehose-use-case-diagram-iot
hello_logo-2

"Mit Firehose und Redshift war der Umstieg von unbearbeiteten Streaming-Daten zu erweiterten Einblicken in Echtzeit nur eine Frage weniger Klicks."

– Tim Bart, CTO, Hello Inc.


Sie können unterschiedliche Arten von Datensätzen aus Systemen für die Zielgruppenverfolgung, Listener und Bidder von Ad Exchanges und Ad Server entgegennehmen und sie im gleichen Stream kombinieren. Danach können Sie Datentransformationen und -analysen in Mikro-Batches mit Spark Streaming oder ereignisbasiert mit AWS Lambda durchführen. Mit Amazon Kinesis Data Firehose können Sie transformierte, optimierte, zusammengefasste Daten anderen Analyse- und Speicher-Services bereitstellen, darunter auch Amazon S3 und Amazon Redshift. Beispielprojekt ausprobieren »

firehose-use-case-diagram-ad-tech

Sie können Amazon Kinesis Data Firehose verwenden, um die Bereitstellung von Echtzeit-Metriken über digitales Inhalte zu ermöglichen, sodass Autoren und Marketingfachleute auf effektive Weise Verbindung mit ihren Kunden aufnehmen können. Sie können Milliarden von kleinen Nachrichten streamen, die komprimiert, verschlüsselt und zu Amazon Elasticsearch Service und Amazon Redshift übertragen werden. Sie können die Daten, die sich dann in Amazon Elasticsearch Service und Amazon Redshift befinden, zusammenfassen, filtern und verarbeiten. Außerdem können Sie Inhaltsleistungs-Dashboards fast in Echtzeit aktualisieren. Hearst Corporation hat beispielsweise eine Clickstream-Analyseplattform mithilfe von Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Redshift und Amazon Elasticsearch erstellt, um 30 TB Daten pro Tag von mehr als 300 Hearst-Websites in aller Welt zu übertragen und zu verarbeiten. Mit dieser Plattform kann Hearst den gesamten Daten-Sream – von Website-Klicks zu zusammengefassten Daten – Redakteuren innerhalb weniger Minuten zur Verfügung stellen. Fallstudie lesen »

firehose-use-case-diagram-digital-marketing
BigData_logo-hearst

"Ich weiß nicht, wie wir unsere Clickstream-Datenpipeline ohne Amazon Kinesis hätten aufbauen sollen. Dazu wären viele Wochen Engineering erforderlich gewesen. Durch Kinesis Data Streams und Kinesis Data Firehose wird der gesamte Prozess äußerst einfach und zuverlässig."

– Peter Jaffe, Data Scientist, Hearst Corporation

440x220_APN-Blog

In diesem Beitrag erfahren Sie, wie Sie mithilfe von AWS-Services, wie AWS Glue, eine Lambda-Architektur ohne jegliche Server aufbauen können. In einer praktischen Demonstration zeigen wir die enge Integration zwischen serverlosen Services auf AWS und erstellen ein stabiles Lambda-Architektursystem für die Datenverarbeitung.

Ganzen Blogbeitrag lesen »

Damit eine effektive Replikation der Daten aus Amazon DynamoDB in Amazon Aurora möglich ist, wird ein zuverlässiger, skalierbarer Datenreplikationsprozess (ETL) benötigt. In diesem Beitrag erkläre ich Ihnen, wie Sie einen derartigen Prozess mithilfe einer serverlosen Architektur mit AWS Lambda und Amazon Kinesis Data Firehose erstellen können.

Ganzen Blogbeitrag lesen »

Letztes Jahr habe ich einen Beitrag im AWS-Blog zur Sicherheit veröffentlicht, der thematisiert, wie Sie Ihre Sicherheitsgruppen verbessern und optimieren können. Der heutige Beitrag ist eine Fortsetzung dazu und beschreibt in derselben Weise die Nutzung von Amazon Kinesis Data Firehose und AWS Lambda zur Anreicherung der Datensätze der VPC Flow Logs und zur Erweiterung Ihrer Fähigkeiten in Hinblick auf die Optimierung der Sicherheitsgruppen.

Ganzen Blogbeitrag lesen »

In diesem Blogbeitrag zeigen wir Ihnen zunächst das Einrichten einer Amazon Elasticsearch Service-Domain. Danach zeigen wir Ihnen das Erstellen und Verbinden eines Firehose-Streams, der eine vorab erstellte Lambda-Funktion einsetzt, um Apache-Web-Protokolle zu analysieren. Schließlich zeigen wir Ihnen das Laden von Daten mit Amazon Kinesis Agent und das Visualisieren dieser Daten mit Kibana.

Ganzen Blogbeitrag lesen »

Dieser Blogbeitrag zeigt das Erstellen einer serverlosen Architektur mithilfe von Amazon Kinesis Data Firehose, AWS Lambda, Amazon S3, Amazon Athena und Amazon QuickSight zum Erfassen, Speichern, Abfragen und Visualisieren von Flussprotokollen.

Ganzen Blogbeitrag lesen »

Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service für die Bereitstellung von Echtzeit-Streaming-Daten an Ziele wie Amazon S3, Amazon Redshift und Amazon Elasticsearch Service (Amazon ES). In diesem Beitrag führe ich Sie in die Funktion der Datentransformation für Bereitstellungsstreams ein. Ich zeige Ihnen, wie Sie Ihre eingehenden Quelldaten reibungslos transformieren und die transformierten Daten für Ihre Ziele bereitstellen.

Ganzen Blogbeitrag lesen »

In diesem Beitrag zeige ich Ihnen, wie Sie mit serverlosen und verwalteten AWS-Services eine Business Intelligence-Funktion für das Streamen von IoT-Gerätedaten erstellen. Alles ist in wenigen Minuten eingerichtet – Sie beginnen dabei zunächst mit einem kleinen Umfang, der jedoch problemlos auf Millionen von Geräten und Milliarden von Nachrichten ausgeweitet werden kann.

Ganzen Blogbeitrag lesen »

Eine vollständige Liste mit Blogbeiträgen zu Amazon Kinesis Data Firehose und Echtzeitanalysen finden Sie auf der Seite mit den Blogbeiträgen »

Der Einstieg in Amazon Kinesis Data Firehose ist ganz einfach. Melden Sie sich einfach an unserer Konsole an und richten Sie in nur wenigen Klicks Ihren ersten Bereitstellungsstream ein.

 

Legen Sie gleich los