Amazon Kinesis Data Firehose bietet die einfachste Methode zum Laden von Streaming-Daten in Datenspeicher und Analysetools. Kinesis Data Firehose ist ein vollständig verwalteter Service, der das Erfassen, Umwandeln und Laden enormer Mengen von Streaming-Daten aus Hunderttausenden von Quellen in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Kinesis Data Analytics, generischen HTTP-Endpunkten und Serviceanbietern wie Datadog, New Relic, MongoDB und Splunk erleichtert. Sie erhalten damit Analysen und Einblicke nahezu in Echtzeit.

Lieferdatenströme

Ein Lieferdatenstrom ist die zugrunde liegende Entität von Kinesis Data Firehose. Sie verwenden Kinesis Data Firehose, indem Sie einen Lieferdatenstrom erstellen und dann Daten dorthin senden.

Wichtige Funktionen

Einfaches Starten und Konfigurieren

Sie können Amazon Kinesis Data Firehose starten und einen Lieferdatenstrom erstellen, um in der AWS-Managementkonsole Daten mit wenigen Klicks in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, HTTP-Endpunkten, Datadog, New Relic, MongoDB oder Splunk zu laden. Sie können Daten an den Lieferdatenstrom senden, indem Sie die Firehose-API aufrufen oder den Linux-Agent ausführen, den wir für die Datenquelle bereitstellen. Kinesis Data Firehose lädt dann die Daten kontinuierlich in die angegebenen Ziele.

Laden neuer Daten nahezu in Echtzeit

Sie können eine Stapelgröße oder ein Stapelintervall angeben und so steuern, wie schnell Daten zu Zielen hochgeladen werden. Beispiel: Sie können das Batch-Intervall auf 60 Sekunden einstellen, wenn Sie neue Daten innerhalb von 60 Sekunden, nachdem sie in den Datenstrom eingelesen wurden, empfangen möchten. Zusätzlich können Sie angeben, ob Daten komprimiert werden sollen. Der Service unterstützt gängige Komprimierungsalgorithmen wie GZip, Hadoop-Compatible Snappy, Zip und Snappy. Mit der Stapelverarbeitung und Komprimierung von Daten vor dem Hochladen können Sie steuern, wie schnell die neuen Daten an den Zielorten eingehen.

Elastisches Skalieren zur Verarbeitung schwankender Datendurchsätze

Nach dem Start wird Ihr Lieferdatenstrom automatisch nach oben oder unten skaliert, um den Eingang von Daten mit einer Datenrate von mehreren Gigabyte pro Sekunde zu verarbeiten und die Datenlatenz auf einem Wert zu halten, den Sie für den Datenstrom innerhalb der Grenzwerte festgelegt haben. Weder Eingriff noch Wartung ist erforderlich.

Unterstützung der integrierten Konvertierung des Datenformats

Datenformate mit Spalten wie z. B. Apache Parquet und Apache ORC sind für eine kosteneffiziente Speicherung und für Analysen mit Services wie Amazon Athena, Amazon Redshift Spectrum, Amazon EMR und anderen Hadoop-basierten Tools optimiert. Amazon Kinesis Data Firehose kann das Format von eingehenden Daten von JSON- zu Parquet- oder ORC-Formaten vor der Speicherung der Daten in Amazon S3 konvertieren. Dadurch sparen Sie Speicherplatz und Analysekosten. Weitere Informationen »

Integrierte Datenumwandlungen

Sie können Amazon Kinesis Data Firehose so konfigurieren, dass Ihre Streaming-Daten vor dem Laden in die Datenspeicher vorbereitet werden. Wählen Sie einfach eine AWS Lambda-Funktion auf der Registerkarte zur Konfiguration des Lieferdatenstroms von Amazon Kinesis Data Firehose in der AWS-Managementkonsole aus. Amazon Kinesis Data Firehose wird diese Funktion automatisch auf alle eingegebenen Datensätze anwenden und die umgewandelten Daten an die Ziele laden. Amazon Kinesis Data Firehose bietet integrierte Lambda-Blueprints für die Konvertierung allgemeiner Datenquellen wie Apache-Protokolle und Systemprotokolle in die Formate JSON und CSV. Sie können diese integrierten Blueprints ohne jede Änderung verwenden oder diese weiter anpassen bzw. Ihre eigenen benutzerdefinierten Funktionen schreiben. Sie können Amazon Kinesis Data Firehose auch für die automatische Wiederholung fehlgeschlagener Aufträge und das Sichern der unbearbeiteten Streaming-Daten konfigurieren. Weitere Informationen »

Unterstützung mehrerer Datenziele

Amazon Kinesis Data Firehose unterstützt aktuell als Ziele Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, HTTP-Endpunkte, Datadog, New Relic, MongoDB und Splunk. Sie können den Amazon-S3-Ziel-Bucket, die Amazon-Redshift-Tabelle, die Amazon-Elasticsearch-Service-Domäne, generische HTTP-Endpunkte oder einen Serviceanbieter als Ladeziel für die Daten angeben.

Optionale automatische Verschlüsselung

Amazon Kinesis Data Firehose bietet Ihnen die Option, die Daten automatisch zu verschlüsseln, nachdem sie in das Ziel hochgeladen wurden. Im Rahmen der Konfiguration des Lieferdatenstroms können Sie einen Verschlüsselungsschlüssel für AWS Key Management System (KMS) festlegen.

Metriken zum Überwachen der Leistung

Amazon Kinesis Data Firehose stellt mehrere Metriken über die Konsole und Amazon CloudWatch bereit. Dazu gehören das Volumen der übertragenen Daten, das Volumen der in das Ziel hochgeladenen Daten, die Zeit von der Quelle bis zum Ziel, die Limits des Lieferdatenstroms, eine eingeschränkte Datensatzanzahl und die Erfolgsrate beim Hochladen. Sie können diese Metriken verwenden, um den Status Ihrer Lieferdatenströme zu überwachen, gegebenenfalls Maßnahmen zu ergreifen, wie beispielsweise eine Änderung der Ziele und das Festlegen von Alarmmeldungen bei Annäherung an das Limit, und um sicherzustellen, dass der Service Daten verarbeitet und sie zum Ziel hochlädt.

Nutzungsbasierte Preise

Bei Amazon Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatkonvertierung. Sie zahlen ggf. außerdem für die Amazon VPC-Bereitstellung und -Datenübertragung. Es fallen weder Mindestgebühren noch Vorausleistungen an. Sie benötigen keine Mitarbeiter, um die Infrastruktur zu betreiben, zu skalieren und zu pflegen. Es sind auch keine benutzerdefinierten Anwendungen nötig, um Streaming-Daten zu erfassen und zu laden.

Weitere Informationen zur Preisgestaltung von Amazon Kinesis Data Firehose

Zur Seite mit den Preisen
Sind Sie startbereit?
Registrieren
Haben Sie Fragen?
Kontakt