Amazon Kinesis Data Firehose

Verarbeiten Sie Datenströme, und laden Sie diese in Datenspeicher und Analyseservices.

Amazon Kinesis Data Firehose bietet die einfachste Methode, Streaming-Daten zuverlässig in Data Lakes, Datenspeicher und Analyseservices zu laden. Es kann Streaming-Daten aufnehmen, transformieren und für Amazon S3, Amazon Redshift, Amazon OpenSearch Service (successor to Amazon Elasticsearch Service),, generische HTTP-Endpunkte und Serviceanbieter wie Datadog, New Relic, MongoDB und Splunk bereitstellen. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann Ihre Datenströme vor dem Laden auch in Batches unterteilen, komprimieren, transformieren und verschlüsseln, um den genutzten Speicherplatz zu minimieren und die Sicherheit zu erhöhen.

Sie können über die AWS-Managementkonsole sehr einfach einen Firehose-Bereitstellungsstream einrichten, ihn mit wenigen Klicks konfigurieren und gleich damit beginnen, Streaming-Daten aus Hunderttausenden Datenquellen in Ihre definierten Ziele aufzunehmen. Auch können Sie Ihren Datenströme so konfigurieren, dass eingehende Daten automatisch umgewandelt werden, um sie in standardisierten Formaten wie Apache Parquet und Apache ORC zu öffnen, bevor sie übertragen werden.

Mit Amazon Kinesis Data Firehose fallen keine Mindest- oder Einrichtungsgebühren an. Sie zahlen für die Daten, die Sie über den Dienst übertragen, für die Umwandlung von Datenformaten (falls zutreffend) und für die Bereitstellung in und die Datenübertragung nach Amazon VPC.

Fordern Sie Unterstützung für Ihre Machbarkeitsstudie und Bewertung an »
Was ist Amazon Kinesis Data Firehose? (1:45)

Vorteile

Einfache Nutzung

Amazon Kinesis Data Firehose bietet eine einfache Möglichkeit, Streaming-Daten aufzuzeichnen, zu transformieren und mit wenigen Klicks in die AWS-Managementkonsole zu laden. Sie können schnell einen Firehose-Bereitstellungsstream einrichten, die Ziele auswählen und gleich damit beginnen, Echtzeitdaten von Hunderttausenden Datenquellen gleichzeitig zu senden. Der Service übernimmt das Datenstrommanagement, einschließlich Skalierung, Sharding und Überwachung, die erforderlich sind, damit die Daten in den von Ihnen angegebenen Intervallen kontinuierlich geladen werden.

Integration mit AWS-Services und Serviceanbietern

Amazon Kinesis Data Firehose ist in Amazon S3, Amazon Redshift und Amazon OpenSearch Service integriert. Diese Lösung ist außerdem in der Lage, Daten an generische HTTP-Endpunkte zu senden und direkt an Serviceanbieter wie Datadog, New Relic, MongoDB und Splunk bereitzustellen. Über die AWS-Managementkonsole können Sie Kinesis Data Firehose für Ziele Ihrer Wahl definieren und Ihre bestehenden Anwendungen und Tools zum Analysieren von Streaming-Daten verwenden.

Serverless integrierte Datentransformation

Kinesis Data Firehose ermöglicht Ihnen, Ihre Streaming-Daten vorzubereiten, bevor Sie diese in Datenspeicher laden. Sie können unbearbeitete Streaming-Daten aus Ihren Datenquellen leicht in Formate wie Apache Parquet und Apache ORC umwandeln, ohne eigene Datenverarbeitungs-Pipelines zu erstellen. Sie können Ihre Streamingdaten vor der Lieferung an S3 auch dynamisch partitionieren, indem Sie statische oder dynamisch definierte Schlüssel wie “customer_id” oder “transaction_id” verwenden, und nach diesen Schlüsseln gruppierte Daten in einmalige S3-Präfixe liefern. Damit wird es für Sie leichter, leistungsstarke, kostengünstige Analyse in S3 mit Athena, EMR und Redshift Spectrum durchzuführen. Weitere Informationen »

Nahezu in Echtzeit

Amazon Kinesis Data Firehose zeichnet Daten auf und lädt sie nahezu in Echtzeit. Es lädt neue Daten innerhalb von 60 Sekunden, nachdem die Daten an den Service gesendet wurden. Im Ergebnis können Sie eher auf neue Daten zugreifen und schneller auf geschäftliche und betriebliche Ereignisse reagieren.

Keine fortlaufende Verwaltung

Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch die zum Laden und Verarbeiten Ihrer Streaming-Daten erforderlichen Rechen-, Speicher- und Netzwerkressourcen bereitstellt, verwaltet und skaliert. Nach der Einrichtung lädt Kinesis Data Firehose die eingehenden Datenströme kontinuierlich in Ihre Ziele.

Nutzungsbasierte Abrechnung

Bei Amazon Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Umwandlung des Datenformats. Sie zahlen ggf. außerdem für die Amazon-VPC-Bereitstellung und -Datenübertragung. Es fallen weder Mindestgebühren noch Vorausleistungen an.

Funktionsweise

Funktionsweise von Amazon Kinesis Data Firehose

Anwendungsfälle

Amazon Kinesis Data Firehose ist ein vollständig verwalteter Service, für den keine fortlaufende Verwaltung erforderlich ist. Kinesis Data Firehose verwaltet die gesamte zugrunde liegende Infrastruktur sowie Speicherung, Netzwerke und Konfiguration, die zum Streamen Ihrer Daten aus Ihrer Quelle an Ihren Zielort erforderlich sind. Nachfolgend finden Sie Beispiele der wichtigsten Anwendungsbereiche, mit denen sich unsere Kunden bei der Verwendung von Amazon Kinesis Data Firehose befassen.

Datenstreaming in Data Lake und Data Warehouse

Kinesis Data Firehose ermöglicht umfangreiche Datenerfassung in Ihren Amazon S3-basierten Data Lake und Data Warehouse. Sie können Kinesis Data Firehose konfigurieren, um Ihre Daten in Formate wie Apache Parquet und Apache ORC umzuwandeln, die von Ihren Zieldatenspeichern verlangt werden, ohne eigene Datenverarbeitungs-Pipelines zu erstellen. Sie können Ihre Streamingdaten auch dynamisch partitionieren, indem Sie gut definierte Schlüssel wie “customer_id” oder “transaction_id” verwenden. Kinesis Data Firehose gruppiert Daten nach diesen Schlüsseln und liefert sie in für die Schlüssel einmalige S3-Präfixe, damit Sie leichter leistungsstarke, kostengünstige Analytik in S3 mit Athena, EMR und Redshift Spectrum durchführen können.

Machine Learning-Anwendungen streamen

Sie können mit Kinesis Data Firehose Machine Learning (ML)-Streaminganwendungen aufbauen. Die Transformation-Lambda-Funktion in Kinesis Data Firehose kann ML-Modelle für Analyse und ML-Inferenz-Endpunkte für Vorhersagen zur Bereicherung Ihrer Datenströme nutzen, wenn sie an Ihr Ziel geliefert werden.

Protokoll- und Iot-Analyse

Mit Amazon Kinesis Data Firehose können Sie kontinuierlich Daten von angeschlossenen Geräten erfassen, etwa Elektronikgeräte, eingebettete Sensoren und TV-Set-Top-Boxen. Kinesis Data Firehose lädt die Daten in die von Ihnen definierten Ziele und ermöglicht damit einen Zugriff auf Metriken, Einblicke und Dashboards nahezu in Echtzeit. Sie erkennen auch Anwendungsfehler, sobald sie auftreten, und finden so die Ursache durch Erfassung, Überwachung und Analyse der Protokolldaten heraus. Hierzu lässt sich der Amazon Kinesis Agent problemlos auf Ihren Servern installieren und konfigurieren, der die Protokolldateien Ihrer Anwendungen und Server automatisch überwacht und die Daten an Kinesis Data Firehose sendet. Kinesis Data Firehose streamt die Protokolldaten fortlaufend an die von Ihnen definierten Ziele, sodass Sie die Daten visualisieren und analysieren können.

Sicherheitsüberwachung

Kinesis Data Firehose unterstützt mehrere Security Information and Event Management (SIEM)-Tools wie Splunk als Ziel. Sie können daher Protokolle zu Ihren Netzwerkdatenflüssen erfassen und an Kinesis Data Firehose senden, das die Daten dann umwandeln, erweitern und in Splunk laden kann. Mit dieser Lösung können Sie die Netzwerksicherheit in Echtzeit überwachen und sich bei einer möglichen Bedrohung warnen lassen.

Fallbeispiele

3Victors
3Victors nimmt jeden Tag weltweit mehr als eine Milliarde Suchvorgänge nach Reisen und 230 Milliarden bewertete Routen aus den weltweit größten Reservierungssystemen auf.
Fallstudie lesen 
Hearst
Hearst streamt täglich mehr als 30 TB an Clickstream-Daten von seinen Websites, um sie zu analysieren.
Fallstudie lesen 
Comcast
Comcast erfasst und analysiert Kundenpräferenzen, um diesen ein reichhaltiges Benutzererlebnis bereitzustellen.
Fallstudie lesen 
Redfin
Redfin hat eine zuverlässige Pipeline zur Protokollaufnahme entwickelt, durch die die SLAs der nachgelagerten Services verbessert werden.
Fallstudie lesen 
Realtor.com
Realtor.com streamt Daten zu Anzeigenimpressionen und erhält daraus direkt umsetzbare Einblicke, durch die das Unternehmen die Wirkung seiner Anzeigen verbessern kann.
Fallstudie lesen 
Repp Health
Repp Health verwendet die Amazon-Kinesis-Services, um IoT-Streaming-Daten aufzunehmen, zu überwachen und für die Speicherortanalyse in einen Amazon-S3-Data-Lake zu laden.
Fallstudie lesen 

Blog-Beiträge

Datum
  • Datum
1

Lesen Sie die Blog-Beiträge für Amazon Kinesis Data Firehose.

Erste Schritte mit Amazon Kinesis Data Firehose

Zum Entwicklerhandbuch
Entwicklerhandbuch lesen

Machen Sie sich im Entwicklerhandbuch mit Kinesis Data Firehose vertraut.

Weitere Informationen 
Für ein kostenloses AWS-Konto registrieren
Für ein kostenloses Konto registrieren

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Tutorial für Kinesis Data Firehose starten
Beginnen Sie mit dem Streamen von Daten

Sammeln Sie praktische Erfahrungen mit diesem Tutorial.

Tutorial starten 

Weitere Informationen zu den Funktionen von Amazon Kinesis Data Firehose

Funktionsübersicht anzeigen
Sind Sie startbereit?
Registrieren
Haben Sie Fragen?
Kontakt