Amazon Kinesis Data Firehose bietet die einfachste Methode zum Laden von Streaming-Daten in Datenspeicher und Analyse-Tools. Kinesis Data Firehose ist ein vollständig verwalteter Service, der das Erfassen, Umwandeln und Laden enormer Mengen von Streaming-Daten aus Hunderttausenden Quellen in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Amazon Kinesis Data Analytics und Splunk erleichtert. Sie erhalten damit Analysen und Einblicke nahezu in Echtzeit.

Kinesis Lieferdatenströme

Ein Kinesis Lieferdatenstrom ist die zugrunde liegende Entität von Kinesis Data Firehose. Sie verwenden Kinesis Data Firehose, indem Sie einen Kinesis Lieferdatenstrom erstellen und dann Daten dorthin senden.

Wichtigste Funktionen

Start und Konfiguration einfach gemacht

Sie können Amazon Kinesis Data Firehose starten und einen Lieferdatenstrom erstellen, um in der AWS-Managementkonsole Daten mit wenigen Klicks in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service oder Splunk zu laden. Sie können Daten an den Lieferdatenstrom senden, indem Sie die Firehose-API aufrufen oder den Linux-Agent ausführen, den wir für die Datenquelle bereitstellen. Kinesis Data Firehose lädt die Daten anschließend kontinuierlich in Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk.

Neue Daten in Beinahe-Echtzeit laden

Sie können eine Batch-Größe oder ein Patch-Intervall festlegen, um zu steuern, wie schnell Daten zu Zielen hochgeladen werden. Beispiel: Sie können das Batch-Intervall auf 60 Sekunden einstellen, wenn Sie neue Daten innerhalb von 60 Sekunden, nachdem sie in den Datenstrom eingelesen wurden, empfangen möchten. Zusätzlich können Sie festlegen, ob Daten komprimiert werden sollen. Der Service unterstützt gängige Komprimierungsalgorithmen (wie GZip und Snappy). Mit Batchverarbeitung und Komprimierung von Daten vor dem Hochladen können Sie steuern, wie schnell Sie neue Daten auf den Zielen empfangen.

Elastische Skalierung zur Verarbeitung eines veränderlichen Datendurchsatzes

Nach dem Start wird Ihr Lieferdatenstrom automatisch nach oben oder unten skaliert, um den Eingang von Daten mit einer Datenrate von mehreren Gigabytes pro Sekunde zu verarbeiten und die Datenlatenz auf einem Wert zu halten, den Sie für den Datenstrom festgelegt haben. Weder Eingriff noch Wartung ist erforderlich.

Unterstützung für integrierte Datenformatkonversion

Datenformate mit Spalten wie z. B. Apache Parquet und Apache ORC sind für eine kosteneffiziente Speicherung und für Analysen mit Services wie Amazon Athena, Amazon Redshift Spectrum, Amazon EMR, und anderen Hadoop-basierten Tools optimiert. Amazon Kinesis Data Firehose kann das Format von eingehenden Daten von JSON- zu Parquet- oder ORC-Formaten vor der Speicherung der Daten in Amazon S3 konvertieren. Dadurch sparen Sie Speicherplatz und Analysekosten. Weitere Informationen »

Integrierte Datenumwandlungen

Sie können Amazon Kinesis Data Firehose so konfigurieren, dass Ihre Streaming-Daten vorbereitet werden, bevor Sie diese in Datenspeicher laden. Wählen Sie einfach eine AWS Lambda-Funktion auf der Registerkarte "delivery stream configuration" von Amazon Kinesis Data Firehose in der AWS-Managementkonsole aus. Amazon Kinesis Data Firehose wird diese Funktion automatisch auf alle eingegebenen Datensätze anwenden und die umgewandelten Daten an die Ziele laden. Amazon Kinesis Data Firehose bietet integrierte Lambda-Blueprints für die Konvertierung allgemeiner Datenquellen wie Apache-Protokolle und Systemprotokolle in die Formate JSON und CSV. Sie können diese integrierten Blueprints ohne jede Änderung verwenden oder diese weiter anpassen bzw. Ihre eigenen benutzerdefinierten Funktionen schreiben. Sie können Amazon Kinesis Data Firehose auch für die automatische Wiederholung fehlgeschlagener Aufträge und das Sichern der unbearbeiteten Streaming-Daten konfigurieren. Weitere Informationen »

Unterstützung für mehrere Datenziele

Amazon Kinesis Data Firehose unterstützt aktuell als Ziele Amazon S3, Amazon Redshift, Amazon Elasticsearch Service und Splunk. Sie können den Amazon S3-Ziel-Bucket, die Amazon Redshift-Tabelle, die Amazon Elasticsearch-Domäne oder das Splunk-Cluster als Ladeziel für die Daten angeben.

Optionale automatische Verschlüsselung

Amazon Kinesis Data Firehose bietet Ihnen die Option, die Daten automatisch zu verschlüsseln, nachdem sie in das Ziel hochgeladen wurden. Als Teil der Konfiguration des Lieferdatenstroms können Sie einen Chiffrierschlüssel für AWS Key Management System (KMS) festlegen.

Metriken zum Überwachen der Leistung

Amazon Kinesis Data Firehose stellt mehrere Metriken über die Konsole und Amazon CloudWatch bereit. Dazu gehören die Menge der übertragenen Daten, die Menge der in das Ziel hochgeladenen Daten, die Zeit von der Quelle bis zum Ziel und die Erfolgsrate beim Hochladen. Sie können diese Metriken verwenden, um den Status Ihrer Lieferdatenströme zu überwachen, gegebenenfalls Maßnahmen zu treffen, wie beispielsweise eine Änderung der Ziele, und sicherzustellen, dass der Service Daten verarbeitet und sie zum Ziel hochlädt.

Nutzungsbasierte Preise

Bei Amazon Kinesis Data Firehose zahlen Sie nur für das über den Service übertragene Datenvolumen. Es fallen weder Mindestgebühren noch Vorausleistungen an. Sie benötigen keine Mitarbeiter, um die Infrastruktur zu betreiben, zu skalieren und zu pflegen. Es sind auch keine benutzerdefinierten Anwendungen nötig, um Streaming-Daten zu erfassen und zu laden.

Weitere Informationen zur Preisgestaltung von Amazon Kinesis Data Firehose

Zur Seite mit den Preisen
Sind Sie startbereit?
Registrieren
Haben Sie Fragen?
Kontakt