Amazon Kinesis Data Firehose – Funktionen

Amazon Kinesis Data Firehose bietet die einfachste Methode zum Laden von Streaming-Daten in Datenspeicher und Analysetools. Kinesis Data Firehose ist ein vollständig verwalteter Service, der das Erfassen, Umwandeln und Laden enormer Mengen von Streaming-Daten aus Hunderttausenden von Quellen in Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Kinesis Data Analytics, generischen HTTP-Endpunkten und Serviceanbietern wie Datadog, New Relic, MongoDB und Splunk erleichtert. Sie erhalten damit Analysen und Einblicke nahezu in Echtzeit.

Ein Lieferdatenstrom ist die zugrunde liegende Entität von Kinesis Data Firehose. Sie verwenden Kinesis Data Firehose, indem Sie einen Lieferdatenstrom erstellen und dann Daten dorthin senden.

Sie können Amazon Kinesis Data Firehose starten und einen Lieferdatenstrom erstellen, um in der AWS-Managementkonsole Daten mit wenigen Klicks in Amazon S3, Amazon Redshift, Amazon OpenSearch Service, HTTP-Endpunkten, Datadog, New Relic, MongoDB oder Splunk zu laden. Sie können Daten an den Lieferdatenstrom senden, indem Sie die Firehose-API aufrufen oder den Linux-Agent ausführen, den wir für die Datenquelle bereitstellen. Kinesis Data Firehose lädt dann die Daten kontinuierlich in die angegebenen Ziele.

Sie können eine Stapelgröße oder ein Stapelintervall angeben und so steuern, wie schnell Daten zu Zielen hochgeladen werden. Beispiel: Sie können das Batch-Intervall auf 60 Sekunden einstellen, wenn Sie neue Daten innerhalb von 60 Sekunden, nachdem sie in den Datenstrom eingelesen wurden, empfangen möchten. Zusätzlich können Sie angeben, ob Daten komprimiert werden sollen. Der Service unterstützt gängige Komprimierungsalgorithmen wie GZip, Hadoop-Compatible Snappy, Zip und Snappy. Mit der Stapelverarbeitung und Komprimierung von Daten vor dem Hochladen können Sie steuern, wie schnell die neuen Daten an den Zielorten eingehen.

Nach dem Start wird Ihr Lieferdatenstrom automatisch nach oben oder unten skaliert, um den Eingang von Daten mit einer Datenrate von mehreren Gigabyte pro Sekunde zu verarbeiten und die Datenlatenz auf einem Wert zu halten, den Sie für den Datenstrom innerhalb der Grenzwerte festgelegt haben. Weder Eingriff noch Wartung ist erforderlich.

Kinesis Data Firehose kann problemlos Daten aus einem vorhandenen Amazon-MSK-Cluster oder einem vorhandenen Kinesis-Datenstream lesen und auf mehrere Ziele hochladen.

Kinesis Data Firehose unterstützt Datenformate mit Spalten wie z. B. Apache Parquet und Apache ORC, die für eine kosteneffiziente Speicherung und für Analysen mit Services wie Amazon Athena, Amazon Redshift Spectrum, Amazon EMR und anderen Hadoop-basierten Tools optimiert sind. Kinesis Data Firehose kann das Format von eingehenden Daten von JSON- zu Parquet- oder ORC-Formaten vor der Speicherung der Daten in Amazon S3 konvertieren. Dadurch sparen Sie Speicherplatz und Analysekosten.

Sie können Ihre Streamingdaten dynamisch partitionieren, bevor Sie sie an S3 liefern, indem Sie statische oder dynamisch definierte Schlüssel wie “customer_id” oder “transaction_id” verwenden. Kinesis Data Firehose gruppiert Daten nach diesen Schlüsseln und liefert sie in für die Schlüssel einmalige S3-Präfixe, damit Sie leichter leistungsstarke, kostengünstige Analytik in S3 mit Athena, EMR und Redshift Spectrum durchführen können. Weitere Informationen »

Sie können Amazon Kinesis Data Firehose so konfigurieren, dass Ihre Streaming-Daten vor dem Laden in die Datenspeicher vorbereitet werden. Wählen Sie einfach eine AWS Lambda-Funktion auf der Registerkarte zur Konfiguration des Lieferdatenstroms von Amazon Kinesis Data Firehose in der AWS-Managementkonsole aus. Amazon Kinesis Data Firehose wird diese Funktion automatisch auf alle eingegebenen Datensätze anwenden und die umgewandelten Daten an die Ziele laden. Amazon Kinesis Data Firehose bietet integrierte Lambda-Blueprints für die Konvertierung allgemeiner Datenquellen wie Apache-Protokolle und Systemprotokolle in die Formate JSON und CSV. Sie können diese integrierten Blueprints ohne jede Änderung verwenden oder diese weiter anpassen bzw. Ihre eigenen benutzerdefinierten Funktionen schreiben. Sie können Amazon Kinesis Data Firehose auch für die automatische Wiederholung fehlgeschlagener Aufträge und das Sichern der unbearbeiteten Streaming-Daten konfigurieren. Weitere Informationen »

Amazon Kinesis Data Firehose unterstützt aktuell als Ziele Amazon S3, Amazon Redshift, Amazon OpenSearch Service, HTTP-Endpunkte, Datadog, New Relic, MongoDB und Splunk. Sie können den Amazon-S3-Ziel-Bucket, die Amazon-Redshift-Tabelle, die Amazon-OpenSearch-Service-Domäne, generische HTTP-Endpunkte oder einen Serviceanbieter als Ladeziel für die Daten angeben.

Amazon Kinesis Data Firehose bietet Ihnen die Option, die Daten automatisch zu verschlüsseln, nachdem sie in das Ziel hochgeladen wurden. Im Rahmen der Konfiguration des Lieferdatenstroms können Sie einen Verschlüsselungsschlüssel für AWS Key Management System (KMS) festlegen.

Amazon Kinesis Data Firehose stellt mehrere Metriken über die Konsole und Amazon CloudWatch bereit. Dazu gehören das Volumen der übertragenen Daten, das Volumen der in das Ziel hochgeladenen Daten, die Zeit von der Quelle bis zum Ziel, die Limits des Lieferdatenstroms, eine eingeschränkte Datensatzanzahl und die Erfolgsrate beim Hochladen. Sie können diese Metriken verwenden, um den Status Ihrer Lieferdatenströme zu überwachen, gegebenenfalls Maßnahmen zu ergreifen, wie beispielsweise eine Änderung der Ziele und das Festlegen von Alarmmeldungen bei Annäherung an das Limit, und um sicherzustellen, dass der Service Daten verarbeitet und sie zum Ziel hochlädt.

Bei Amazon Kinesis Data Firehose zahlen Sie nur für die Datenmengen, die Sie über den Dienst übertragen, und ggf. für die Datenformatkonvertierung. Sie zahlen ggf. außerdem für die Amazon-VPC-Bereitstellung und -Datenübertragung. Es fallen weder Mindestgebühren noch Vorausleistungen an. Sie benötigen keine Mitarbeiter, um die Infrastruktur zu betreiben, zu skalieren und zu pflegen. Es sind auch keine benutzerdefinierten Anwendungen nötig, um Streaming-Daten zu erfassen und zu laden.