Amazon Kinesis Data Firehose – Häufig gestellte Fragen

F: Was ist Streaming ETL?

Streaming ETL ist die Verarbeitung und Verschiebung von Echtzeitdaten von einem Ort an einen anderen. „ETL“ ist die Abkürzung der Datenbankfunktionen Extrahieren, Transformieren und Laden. „Extrahieren“ bezieht sich auf das Erfassen der Daten von einer Quelle. „Transformieren“ bezieht sich auf jegliche Verarbeitungen dieser Daten. „Laden“ bezieht sich auf das Senden der verarbeiteten Daten an einen Zielort, wie ein Warehouse, ein Data Lake oder ein Analysetool.

F: Was ist Amazon Kinesis Data Firehose?

Kinesis Data Firehose ist eine Streaming-ETL-Lösung. Das ist die einfachste Methode zum Laden von Streaming-Daten in Datenspeicher und Analytik-Tools. Es kann Streaming-Daten erfassen, umwandeln und in Amazon S3, Amazon Redshift, Amazon OpenSearch Service und Splunk laden und ermöglicht so Echzeit-nahe Analytiken mit bestehenden Business Intelligence-Tools und Dashboards, die Sie auch heute schon verwenden. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann die Daten vor dem Laden auch in Batches unterteilen, komprimieren und verschlüsseln, um den am Zielort verwendeten Speicherplatz zu minimieren und die Sicherheit zu erhöhen.

F: Was ist eine Quelle in Kinesis Data Firehose?

Eine Quelle ist der Ort, an dem Ihre Streaming-Daten kontinuierlich generiert und erfasst werden. Eine Quelle kann z. B. ein Protokollierungsserver sein, der auf Amazon-EC2-Instances ausgeführt wird, eine Anwendung, die auf einem Mobilgerät ausgeführt wird, oder ein Sensor auf einem IoT-Gerät. Sie können Ihre Quellen mit Kinesis Data Firehose verbinden, indem Sie 1) die Amazon-Kinesis-Data-Firehose-API verwenden, die das AWS SDK für Java, .NET, Node.js, Python oder Ruby nutzt. 2) Kinesis Data Stream, wobei Kinesis Data Firehose Daten einfach aus einem vorhandenen Kinesis Data Stream gelesen und in Kinesis-Data-Firehose-Ziele geladen wird. 3) Amazon MSK, wobei Kinesis Data Firehose die Daten einfach aus einem bestehenden Amazon-MSK-Cluster liest und in Amazon-S3-Buckets lädt. 4) AWS unterstützt Services wie AWS Cloudwatch, AWS EventBridge, AWS IOT oder AWS Pinpoint nativ. Eine vollständige Liste finden Sie im Entwicklerhandbuch von Amazon Kinesis Data Firehose. 5) Kinesis Agents, welche eine eigenständige Java-Softwareanwendung ist, die laufend eine Reihe von Dateien überwacht und neue Daten an Ihren Stream sendet. 6) Fluentbit, ein Open-Source-Log-Processor und Forwarder. 7) AWS Lambda, ein Serverless-Rechenservice, mit dem Sie Code ausführen können, ohne Server bereitstellen und verwalten zu müssen. Sie können Ihre Lambda-Funktion schreiben und basierend auf einem ausgelösten Ereignis Verkehr von S3 oder DynamoDB an Kinesis Data Firehose senden.

F: Was ist ein Ziel in Kinesis Data Firehose?

Ein Ziel ist der Datenspeicher, an den Ihre Daten geliefert werden. Kinesis Data Firehose unterstützt derzeit Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Splunk, Datadog, NewRelic, Dynatrace, Sumo Logic, LogicMonitor, MongoDB und HTTP End Point als Ziele.

F: Was verwaltet Kinesis Data Firehose für mich?

Kinesis Data Firehose verwaltet die gesamte grundlegende Infrastruktur, den Speicher, das Netzwerk und die Konfiguration, die zum Erfassen und Laden Ihrer Daten in Amazon S3, Amazon Redshift, Amazon OpenSearch Service oder Splunk erforderlich sind. Sie müssen sich keine Gedanken über Bereitstellung, laufende Wartung von Hardware, Software machen oder andere Anwendungen zur Verwaltung dieses Prozesses schreiben. Kinesis Data Firehose skaliert auch elastisch ohne weiteres Zutun und erfordert keinerlei Entwickleraufwand in diesem Zusammenhang. Außerdem repliziert Kinesis Data Firehose synchron Daten an drei Standorten einer AWS-Region und erzielt so eine hohe Verfügbarkeit und Beständigkeit für die Daten während des Transports zu diesen Zielen.

F: Wie verwende ich Kinesis Data Firehose?

Nachdem Sie sich bei Amazon Web Services angemeldet haben, können Sie Kinesis Data Firehose mit den folgenden Schritten verwenden:

• Erstellen Sie einen Kinesis Data Firehose-Bereitstellungsdatenstrom über die Firehose-Konsole oder mit dem Vorgang CreateDeliveryStream. Sie können optional eine AWS Lambda-Funktion in Ihren Bereitstellungs-Stream integrieren, um die Rohdaten vor dem Laden der Daten vorzubereiten und umzuwandeln.
• Konfigurieren Sie Ihre Datenproduzenten so, dass sie über den Amazon Kinesis Agent oder die Firehose-API kontinuierlich Daten an Ihren Bereitstellungsdatenstrom senden.
• Firehose lädt Ihre Daten automatisch und kontinuierlich zu den von Ihnen angegebenen Zielen.

F: Was ist ein Bereitstellungsdatenstrom in Kinesis Data Firehose?

Ein Bereitstellungsdatenstrom ist die zugrunde liegende Entität von Kinesis Data Firehose. Sie verwenden Firehose, indem Sie einen Bereitstellungsdatenstrom erstellen und dann Daten dorthin senden. Sie können einen Kinesis Data Firehose-Bereitstellungsdatenstrom über die Firehose-Konsole oder den Vorgang CreateDeliveryStream erstellen. Weitere Informationen finden Sie unter Erstellen eines Bereitstellungsdatenstroms.

F: Was ist ein Datensatz in Kinesis Data Firehose?

Bei einem Datensatz handelt es sich um die gewünschten Daten, die Ihr Datenproduzent an einen Bereitstellungsdatenstrom sendet. Die maximale Größe eines Datensatzes (bevor Base64-Kodierung) beträgt 1 024 KB, wenn Ihre Datenquelle Direct PUT oder Kinesis Data Streams ist. Die maximale Größe eines Datensatzes (bevor Base64-Kodierung) beträgt 10 MB, wenn Ihre Datenquelle Amazon MSK ist.

F: Welche Limits gelten für Kinesis Data Firehose?

Informationen zu Limits finden Sie im Entwicklerhandbuch unter Amazon Kinesis Data Firehose Limits.

F: Welche Programmiersprachen oder Plattformen kann ich verwenden, um auf die Kinesis Data Firehose-API zuzugreifen?

Die Kinesis Data Firehose-API ist in den Amazon Web Services-SDKs verfügbar. Eine Liste der Programmiersprachen oder Plattformen für die Amazon Web Services SDKs finden Sie unter Tools für Amazon Web Services.

F: Was ist Amazon Kinesis Agent?

Kinesis Agent ist eine fertige Java-Anwendung, die eine einfache Methode zur Erfassung von Daten und zum Senden dieser Daten in Ihren Bereitstellungsdatenstrom bietet. Sie können den Agenten in Serverumgebungen auf Linux-Basis, auf Protokollservern und Datenbankservern installieren. Der Agent überwacht bestimmte Dateien und sendet fortlaufend Daten in Ihren Bereitstellungsdatenstrom. Amazon Kinesis Agent unterstützt derzeit Amazon Linux, Red Hat Enterprise Linux und Microsoft Windows. Weitere Informationen finden Sie unter Schreiben Sie mit Agenten.

F: Wo bekomme ich Amazon Kinesis Agent?

Sie können Kinesis Agent mit dem folgenden Befehl und Link herunterladen und installieren:

• Auf Amazon Linux: sudo yum install –y aws-kinesis-agent
• Auf Red Hat Enterprise Linux: sudo yum install –y https://s3.amazonaws.com/streaming-data-agent/aws-kinesis-agent-latest.amzn1.noarch.rpm
• Aus GitHub: awlabs/amazon-kinesis-agent
• In Windows: https://docs.aws.amazon.com/kinesis-agent-windows/latest/userguide/getting-started.html#getting-started-installation

F: Worin besteht der Unterschied zwischen den Vorgängen PutRecord und PutRecordBatch?

Sie können einem Kinesis Data Firehose-Bereitstellungsdatenstrom über Kinesis Agent oder über die Firehose-Vorgänge PutRecord und PutRecordBatch hinzufügen. Mit dem Vorgang PutRecord ist ein einzelner Datensatz in einem API-Aufruf möglich; der Vorgang PutRecordBatch lässt mehrere Datensätze in einem API-Aufruf zu. Weitere Informationen finden Sie unter PutRecord und PutRecordBatch.

F: Wie füge ich meinem Kinesis Data Firehose-Bereitstellungsdatenstrom aus meinem Kinesis-Datenstrom Daten hinzu?

Wenn Sie Ihren Bereitstellungsdatenstrom über die AWS-Konsole oder Firehose-APIs erstellen oder aktualisieren, können Sie einen Kinesis-Datenstrom als Quelle Ihres Bereitstellungsdatenstroms konfigurieren. Nach der Konfiguration liest Firehose automatisch Daten aus Ihrem Kinesis Data Stream und lädt sie an die angegebenen Ziele.

F: Wie füge ich Daten zu meinem Kinesis-Data-Firehose-Bereitstellungsstrom von meinem Amazon MSK hinzu?

Wenn Sie Ihren Lieferstrom über die AWS-Konsole oder die Firehose-APIs erstellen oder aktualisieren, können Sie ein/en Amazon-MSK-Cluster/Thema als Quelle Ihres Lieferstroms konfigurieren. Einmal konfiguriert, liest Firehose automatisch Daten aus Ihrem MSK-Thema und lädt die Daten in den/die angegebenen S3-Bucket(s).

F: Was sind die wichtigsten Vorteile der Integration von Amazon MSK und Kinesis Data Firehose?

Sie können die Komplexität des Anwendungsbetriebs und den Overhead reduzieren, indem Sie Streaming-Daten aus Ihren Amazon-MSK-Themen in Amazon S3 transformieren und laden, ohne dass Code erforderlich ist. Mit Amazon MSK und Kinesis Data Firehose erhalten Sie beispielsweise No-Code, integrierte Datenkonvertierungs- und -umwandlungsfunktionen wie AVRO, Parquet/ORC-Formatkonvertierung, dynamische Partitionierung, Datenpufferung und service-seitige Datenvalidierung unter Verwendung des in AWS Glue Schema Registry definierten Schemas. Darüber hinaus erhalten Sie automatische Zustellversuche, Datenspeicherung, automatische Skalierung und Redundanz, so dass die Daten zuverlässig zugestellt werden.

F: Welche Arten von Amazon-MSK-Endpunkten werden von Kinesis Data Firehose unterstützt?

Um diese Funktion zu nutzen, müssen MSK-Cluster über öffentliche Endpunkte oder private Verbindungen verfügen.

F: Welche Schemaregistrierung unterstützt Kinesis Data Firehose beim Einlesen von Daten aus Amazon MSK?

Kinesis Data Firehose unterstützt AWS Glue Schema Registry (GSR) beim Einlesen von Daten aus Amazon MSK. AWS GSR ist eine Serverless-Funktion von AWS Glue, mit der Sie Streaming-Daten anhand von Apache-Avro-Schemas oder JSON-Schemas ohne zusätzliche Kosten validieren und zuverlässig weiterentwickeln können.

F: Ist es möglich, Kinesis Data Firehose mit einem Amazon-MSK-Cluster in einem anderen AWS-Konto zu verbinden?

Kinesis Data Firehose verbindet sich nur mit Amazon-MSK-Clustern, die unter demselben AWS-Konto verfügbar sind.

F: Kann Amazon Kinesis Data Firehose auf ein AWS-GSR-Schema zugreifen, das sich in einer anderen Region befindet?

Ja, AWS GSR wird regionsübergreifend mit Kinesis Data Firehose unterstützt. Eine gängige Praxis von GSR-Kunden ist die Bereitstellung ihres Schemas in einer zentralen Region, während die eigentlichen Daten in einer anderen Region liegen können.

F: Wie oft liest Kinesis Data Firehose Daten aus meinem Kinesis-Datenstrom?
Kinesis Data Firehose ruft Kinesis Data Streams GetRecords() für jeden Kinesis-Shard einmal pro Sekunde auf.

F: Von wo liest Kinesis Data Firehose Daten, wenn mein Kinesis-Datenstrom als Quelle meines Bereitstellungsdatenstroms konfiguriert ist?

Kinesis Data Firehose liest Daten von der LETZTEN Position Ihres Kinesis-Datenstroms, wenn es als Quelle eines Bereitstellungsdatenstroms konfiguriert ist. Weitere Informationen über die Kinesis-Datenstromposition finden Sie unter GetShardIterator in der Kinesis Data Streams Service-API-Referenz.

F: Kann ich meinen Kinesis-Datenstrom als Quelle mehrerer Firehose-Bereitstellungsdatenströme konfigurieren?

Ja, das ist möglich. Bitte beachten Sie aber, dass der GetRecords()-Aufruf aus Kinesis Data Firehose beim Gesamtdrossellimit Ihres Kinesis-Shard berücksichtigt wird. Sie müssen Ihren Lieferdatenstrom also mit Ihren anderen Kinesis-Anwendungen planen, um zu gewährleisten, dass es nicht zu einer Drosselung kommt. Weitere Informationen finden Sie im Kinesis Data Streams-Entwicklerhandbuch unter Kinesis Data Streams Limits.

F: Kann ich weiterhin Daten über Kinesis Agent oder die Vorgänge PutRecord und PutRecordBatch in Firehose dem Bereitstellungsdatenstrom hinzufügen, wenn mein Kinesis-Datenstrom als Quelle konfiguriert ist?

Nein, das ist nicht möglich. Ist ein Kinesis-Datenstrom als Quelle eines Firehose-Bereitstellungsdatenstroms konfiguriert, werden die Vorgänge PutRecord und PutRecordBatch in Firehose deaktiviert. Stattdessen sollten Sie Daten mit den Kinesis Data Streams-Vorgängen PutRecord und PutRecords Ihrem Kinesis-Datenstrom hinzufügen.

F: Wie füge ich meinem Bereitstellungsdatenstrom aus AWS IoT Daten hinzu?

Sie können Ihrem Lieferdatenstrom aus AWS IoT Daten hinzufügen, indem Sie eine AWS IoT-Aktion erstellen, die Ereignisse an Ihren Lieferdatenstrom sendet. Für weitere Informationen: Siehe Schreiben in Amazon Kinesis Data Firehose mithilfe von AWS IoT im Kinesis-Data-Firehose-Entwicklerhandbuch.

F: Wie kann ich meine VPC-Flow-Protokolle zu Firehose streamen?

Wenn Sie Ihren Lieferdatenstrom über die AWS-Konsole oder Firehose-APIs erstellen oder aktualisieren, können Sie einen Direct PUT als Quelle Ihres Lieferdatenstroms konfigurieren. Sobald der Firehose-Strom erstellt ist, können Sie ihn als Lieferdatenstrom konfigurieren in der Sektion Vended Logs der Konsole des VPC-Flow-Protokolls.

F: Wie füge ich meinem Lieferdatenstrom aus CloudWatch Logs Daten hinzu?

Sie können Ihrem Kinesis Data Firehose-Bereitstellungsdatenstrom aus CloudWatch Logs Daten hinzufügen, indem Sie einen CloudWatch Logs Subscription Filter erstellen, der Ereignisse an Ihren Bereitstellungsdatenstrom sendet. Weitere Informationen finden Sie unter CloudWatch Logs Subscription Filter verwenden im Amazon CloudWatch-Benutzerhandbuch.

F: Wie füge ich meinem Kinesis Data Firehose-Bereitstellungsdatenstrom Daten aus CloudWatch Events hinzu?

Sie können Daten über CloudWatch Events durch Erstellen einer CloudWatch Events-Regel mit Ihrem Kinesis Data Firehose-Bereitstellungsdatenstrom als Ziel Ihrem Firehose-Bereitstellungsdatenstrom hinzufügen. Weitere Informationen finden Sie im Entwicklerhandbuch von Kinesis Data Firehose unter Writing to Amazon Kinesis Data Firehose Using CloudWatch Events.

F: Wie füge ich meinem Amazon Kinesis Data Firehose-Bereitstellungsdatenstrom Daten aus AWS Eventbridge hinzu?

Sie können Ihrem Kinesis Data Firehose-Bereitstellungsdatenstrom Daten aus der AWS EventBridge-Konsole hinzufügen. Weitere Informationen finden Sie in der Dokumentation zu AWS EventBridge.

F: Welche Art von Verschlüsselung kann ich verwenden?

Bei Kinesis Data Firehose können Sie Ihre Daten verschlüsseln, nachdem sie an Ihren Amazon S3-Bucket geliefert wurden. Wenn Sie Ihren Bereitstellungsdatenstrom erstellen, können Sie Ihre Daten mit einem AWS Key Management Service (KMS) verschlüsseln, den Sie bereits besitzen. Weitere Informationen über KMS finden Sie unter AWS Key Management Service.

F: Welche IAM-Rolle muss ich angeben, wenn ich einen Bereitstellungsdatenstrom einrichte?

Kinesis Data Firehose übernimmt die von Ihnen angegebene IAM-Rolle für den Zugriff auf Ressourcen wie Ihren Amazon S3 Bucket und Ihre Amazon-OpenSearch-Domäne. Weitere Informationen finden Sie im Entwicklerhandbuch von Kinesis Data Firehose unter Zugriffskontrolle mit Kinesis Data Firehose.

F: Wann sollte ich die Kinesis Data Firehose dynamische Partitionierung verwenden?

Die Kinesis Data Firehose dynamische Partitionierung beseitigt die Komplexität und die Verzögerung einer manuellen Partitionierung an der Quelle oder nach dem Speichern der Daten. Dadurch wird eine schnellere Analyse bei der Abfrage optimierter Datensätze ermöglicht. Datensätze sind somit direkt für Analysetools verfügbar, die ihre Abfragen effizient ausführen können, und es wird eine präzisere Zugriffskontrolle auf die Daten erreicht. So können beispielsweise Marketingautomatisierungkunden Daten spontan nach Kunden-ID partitionieren, wodurch kundenspezifische Abfragen zur Abfrage optimierter Datensätze und schnellerer Lieferung von Ergebnissen ermöglicht werden. IT-Operations- oder Sicherheitsüberwachungskunden können Gruppierungen basierend auf in Protokollen eingebetteten Ereignis-Zeitstempeln erstellen, damit sie optimierte Datensätze abfragen und schneller Ergebnisse erhalten können. Durch diese Funktion, zusammen mit der bestehenden Konvertierungsfunktion von JSON- in Parquet-Format in Amazon Kinesis Data Firehose, ist Amazon Kinesis Data Firehose die ideale Streaming-ETL-Option für S3.

F: Wie richte ich dynamische Partitionierung mit Kinesis Data Firehose ein?

Sie können die Kinesis Data Firehose dynamische Partitionierung über die AWS-Managementkonsole, CLIs oder SDKs einrichten. Wenn Sie einen Kinesis Data Firehose-Bereitstellungsdatenstrom einrichten oder aktualisieren, wählen Sie „Amazon S3“ als Bereitstellungsziel für den Bereitstellungsdatenstrom aus und aktivieren Sie die dynamische Partitionierung. Sie können Schlüssel angeben oder einen Ausdruck erstellen, der zur Laufzeit beurteilt wird, um die für die Partitionierung verwendeten Schlüssel zu definieren. Sie können zum Beispiel ein Datenfeld im eingehenden Strom auswählen, wie die Kunden-ID, und einen S3-Präfixausdruck definieren, wie customer_id=!{partitionKey:customer_id}/. Dieser wird während der Laufzeit basierend auf den erfassten Datensätzen beurteilt, um zu definieren, an welchen S3-Präfix die Datensätze geliefert werden.

F: Was für Transformationen und Datenverarbeitung kann ich mit dynamischer Partitionierung und Partitionierungsschlüsseln durchführen?

Kinesis Data Firehose unterstützt sofort Parquet-/ORC-Konversion, wenn Sie Ihre Daten an Amazon S3 schreiben. Kinesis Data Firehose lässt sich auch mit einer Lambda-Funktion integrieren, damit Sie Ihren eigenen Transformationscode schreiben können. Kinesis Data Firehose bietet außerdem integrierte Unterstützung beim Extrahieren von wichtigen Datenfeldern aus Datensätzen im JSON-Format. Kinesis Data Firehose unterstützt auch die JQ-Parsingsprache, um Transformation in diese Partitionsschlüssel zu ermöglichen. Weitere Informationen finden Sie im Entwicklerhandbuch zu Kinesis Data Firehose.

F: Warum werde ich gedrosselt, wenn ich Daten an meinen Amazon Kinesis Data Firehose-Lieferdatenstrom sende?

Jeder Lieferdatenstrom kann standardmäßig bis zu 2.000 Transaktionen/Sekunde, 5.000 Datensätze/Sekunde und 5 MB/Sekunde aufnehmen. Diese Beschränkung kann sehr einfach erhöht werden, indem ein Formular zum Erhöhen von Service-Limits eingereicht wird.

F: Warum sehe ich doppelte Datensätze in meinem Amazon S3-Bucket, meiner Amazon Redshift-Tabelle, meinem Amazon OpenSearch-Index oder meinen Splunk-Clustern?

Amazon Kinesis Data Firehose verwendet für die Datenübertragung mindestens einmal eine Semantik. In seltenen Fällen, etwa bei einem Anforderungs-Timeout während einer Datenübertragung, können durch die erneute Übertragung von Firehose doppelte Einträge entstehen, wenn die ursprüngliche Anforderung schließlich doch übermittelt wird.

F: Was geschieht, wenn Daten nicht an mein Amazon-S3-Bucket übertragen werden können?

Wenn Ihre Datenquelle Direct PUT ist und bei der Datenübertragung an Ihren Amazon-S3-Bucket ein Fehler auftritt, wiederholt Amazon Kinesis Data Firehose die Übertragung maximal 24 Stunden lang alle 5 Sekunden. Besteht das Problem nach 24 Stunden weiterhin, verwirft Amazon Kinesis Data Firehose die Daten.

Wenn Ihre Datenquelle Kinesis Data Streams ist und bei der Datenübertragung an Ihren Amazon S3-Bucket ein Fehler auftritt, versucht Amazon Kinesis Data Firehose alle 5 Sekunden erneut, Daten zu übermitteln, und zwar bis zu einem maximalen Zeitraum, der auf Kinesis Data Streams konfiguriert ist.

F: Was geschieht, wenn Daten nicht an mein Amazon Redshift-Cluster übertragen werden können?

Wenn bei der Datenübertragung an Ihr Amazon Redshift-Cluster ein Fehler auftritt, wiederholt Amazon Kinesis Data Firehose die Übertragung alle 5 Sekunden bis zu maximal 120 Minuten lang. Nach 120 Minuten überspringt Amazon Kinesis Data Firehose den aktuellen Batch von S3-Objekten, die zum Kopieren bereit sind, und fährt mit dem nächsten Batch fort. Die Informationen über die übersprungenen Objekte werden Ihrem S3-Bucket als Manifestdatei im Fehlerordner zugestellt, den Sie dann zum manuellen Auffüllen verwenden können. Informationen zum manuellen Verwenden des COPY-Befehls mit Manifestdateien finden Sie unter Verwenden einer Manifestdatei zur Angabe von Datendateien.

F: Was passiert, wenn die Datenlieferung an meine Amazon-OpenSearch-Domäne fehlschlägt?

Für Amazon-OpenSearch-Service-Ziele können Sie bei der Erstellung des Bereitstellungsdatenstroms eine Wiederholungsdauer zwischen 0 und 7 200 Sekunden angeben. Wenn Daten nicht an Ihre Amazon-OpenSearch-Domäne übertragen werden können, wiederholt Amazon Kinesis Data Firehose den Vorgang für den festgelegten Zeitraum. Nach der Wiederholphase überspringt Amazon Kinesis Data Firehose den aktuellen Daten-Batch und fährt mit dem nächsten Batch fort. Details zu übersprungenen Dokumenten werden in Ihrem S3-Bucket im Ordner opensearch_failed bereitgestellt, den Sie zum manuellen Auffüllen verwenden können.

F: Was passiert im Falle eines Datenumwandlungsfehlers?

Es gibt zwei Arten von Fehlerszenarien, wenn Firehose versucht, Ihre Lambda-Funktion für die Datenumwandlung aufzurufen:

• Der erste Typ ist, wenn der Funktionsaufruf fehlschlägt, weil zum Beispiel die Zeit für das Erreichen des Netzwerks abgelaufen ist und Lambda-Aufrufgrenzen erreicht sind. Bei diesen Fehlerszenarien wiederholt Firehose den Aufruf standardmäßig dreimal und überspringt dann diesen Datensatzstapel. Die übersprungenen Datensätze werden als nicht erfolgreich verarbeitete Datensätze behandelt. Sie können für die Anzahl der Aufrufwiederholungen eine Anzahl zwischen 0 und 300 mithilfe der APIs CreateDeliveryStream und UpdateDeliveryStream konfigurieren. Für diesen Fehlertyp können Sie auch die Fehlerprotokollierungsfunktion von Firehose verwenden, um Aufruffehler an CloudWatch Logs weiterzugeben. Weitere Informationen finden Sie unter Monitoring with Amazon CloudWatch Logs.
• Der zweite Typ von Fehlerszenario tritt auf, wenn das Umwandlungsergebnis eines Datensatzes auf "ProcessingFailed" eingestellt ist, wenn dieser von Ihrer Lambda-Funktion zurückkehrt. Firehose behandelt diese Datensätze als nicht erfolgreich verarbeitete Datensätze. Für diesen Fehlertyp können Sie auch die Protokollierungsfunktion von Lambda verwenden, um Fehlerprotokolle an CloudWatch Logs weiterzugeben. Weitere Informationen finden Sie unter Accessing Amazon CloudWatch Logs for AWS Lambda.

Für beide Fehlerszenarien werden die nicht erfolgreich verarbeiteten Datensätze an Ihren S3-Bucket im Ordner "processing_failed" übertragen.

F: Warum sind gelieferte S3-Objekten größer als die Puffergröße, die ich in meiner Konfiguration für den Datenlieferstrom festgelegt habe?

Die Größe von gelieferten S3-Objekten sollte die festgelegte Puffergröße in den meisten Fällen widerspiegeln, wenn die Bedingung für die Puffergröße vor der Bedingung für das Pufferintervall erfüllt ist. Wenn jedoch die Datenlieferung an das Ziel langsamer ist als das Schreiben von Daten in den Lieferdatenstrom, erhöht Firehose die Puffergröße dynamisch, um den Vorgang zu beschleunigen und sicherzustellen, dass alle Daten an das Ziel geliefert werden. In diesem Fall können gelieferte S3-Objekten größer als die festgelegte Puffergröße sein.

F: Wozu dient der Fehler-Ordner in meinem Amazon S3-Bucket?

Im Fehlerordner werden Manifestdateien gespeichert, die Informationen über S3-Objekte enthalten, die nicht in Ihren Amazon Redshift-Cluster geladen werden konnten. Sie können diese Objekte über den Redshift-Befehl COPY manuell erneut laden. Informationen zum manuellen Verwenden des COPY-Befehls mit Manifestdateien finden Sie unter Verwenden einer Manifestdatei zur Angabe von Datendateien.

F: Wozu dient der Ordner opensearch_failed in meinem Amazon S3-Bucket?

Der Ordner opensearch_failed speichert die Dokumente, die nicht in Ihre Amazon OpenSearch-Domain geladen werden konnten. Was passiert, wenn die Datenlieferung an meine Amazon OpenSearch-Domäne fehlschlägt? Domäne. Sie können diese Dokumente für einen manuellen Abgleich neu indizieren.

F: Wozu dient der Ordner "processing_failed" in meinem Amazon S3-Bucket?

Im Ordner "processing_failed" werden die Datensätze gespeichert, die nicht in Ihrer AWS Lambda-Funktion umgewandelt werden konnten. Sie können diese Datensätze manuell erneut verarbeiten.

F: Wie überwache ich Betrieb und Leistung meines Amazon Kinesis Data Firehose-Lieferdatenstroms?

Die Firehose-Konsole zeigt die wichtigsten Betriebs- und Leistungsmetriken an, wie etwa eingehendes Datenvolumen und geliefertes Datenvolumen. Amazon Kinesis Data Firehose ist auch in Amazon CloudWatch-Metriken integriert, sodass Sie Metriken für die Lieferdatenströme sammeln, anzeigen und analysieren können. Weitere Informationen zu Amazon Kinesis Data Firehose-Metriken finden Sie im Entwicklerhandbuch von Amazon Kinesis Data Firehose unter Monitoring with Amazon CloudWatch Metrics.

F: Wie überwache ich fehlgeschlagene Datenumwandlungen und -lieferungen im Amazon Kinesis Data Firehose-Lieferdatenstrom?

Amazon Kinesis Data Firehose ist in Amazon CloudWatch Logs integriert. Bei einer fehlgeschlagenen Datenumwandlung oder -lieferung können Sie die zutreffenden Fehlerprotokolle überprüfen. Die Fehlerprotokollierung aktivieren Sie beim Erstellen des Lieferdatenstroms. Weitere Informationen finden Sie im Entwicklerhandbuch von Amazon Kinesis Data Firehose unter Monitoring with Amazon CloudWatch Logs.

F: Wie kann ich den Zugriff auf meinen Amazon Kinesis Data Firehose-Lieferdatenstrom verwalten und steuern?

Amazon Kinesis Data Firehose ist mit AWS Identity and Access Management integriert, einem Service, mit dessen Hilfe Sie den Zugriff auf Ihre AWS-Services und -Ressourcen für Ihre Benutzer sicher steuern können. Sie können zum Beispiel eine Richtlinie einrichten, der zufolge nur ein bestimmter Benutzer bzw. eine Gruppe dem Amazon Kinesis Firehose-Lieferdatenstrom Daten hinzufügen darf. Weitere Informationen zu Zugriffsverwaltung und -steuerung Ihres Streams finden Sie unter Zugriffssteuerung mit Amazon Kinesis Data Firehose .

F: Wie kann ich API-Aufrufe an meinen Amazon Kinesis Data Firehose-Lieferdatenstrom für Sicherheitsanalysen und für die Fehlerbehebung protokollieren?

Amazon Kinesis Data Firehose ist in AWS CloudTrail integriert, einem Service, der Aufrufe von AWS-APIs für Ihr Konto aufzeichnet und Protokolldateien an Sie übermittelt. Weitere Informationen zur Protokollierung von API-Aufrufen sowie eine Liste der unterstützten Amazon Kinesis Data Firehose-API-Vorgänge finden Sie unter Protokollieren von Kinesis Data Firehose-API-Aufrufen mit AWS CloudTrail.

F: Ist Kinesis Data Firehose über das kostenlose Nutzungskontingent für AWS verfügbar?

Nein. Kinesis Data Firehose fällt derzeit nicht unter das kostenlose Nutzungskontingent für AWS. Das kostenlose Kontingent für AWS ist ein Programm, das einen kostenlosen Test bestimmter AWS-Services bietet. Weitere Informationen finden Sie unter Kostenloses Nutzungskontingent für AWS.

F: Wie viel kostet Kinesis Data Firehose?

Für Kinesis Data Firehose fallen nutzungsabhängige Gebühren an. Es gibt weder Vorlaufkosten noch Mindestgebühren. Sie zahlen nur für die Ressourcen, die Sie tatsächlich nutzen. Die Preise für Amazon Kinesis Data Firehose basieren auf dem Datenvolumen (GB), das Firehose aufnimmt, wobei jeder Datensatz auf die nächsten 5 KB aufgerundet wird, wenn Direct PUT und Kinesis Datenstrom die Quelle ist. Für Vended Logs als Quelle basieren die Preise auf dem von Firehose aufgenommenen Datenvolumen (GB). Weitere Informationen zu den Kosten von Amazon Kinesis Data Firehose finden Sie unter Amazon Kinesis Data Firehose – Preise.

F: Wie wird die 5-KB-Aufrundung berechnet, wenn ich den Vorgang PutRecordBatch verwende, um Daten an Amazon Kinesis Data Firehose zu senden?

Die 5-KB-Aufrundung wird auf Datensatzebene, nicht auf API-Vorgangsebene berechnet. Wenn Ihr PutRecordBatch-Aufruf zum Beispiel zwei 1-KB-Datensätze enthält, wird dieses Datenvolumen als 10 KB gezählt. (5 KB pro Datensatz)

F: Sind in den Kosten für Kinesis Data Firehose auch die Kosten für Amazon S3, Amazon Redshift, Amazon OpenSearch Service und AWS Lambda enthalten?

Nein, die Gebühren für die Nutzung von Amazon S3, Amazon Redshift, Amazon OpenSearch Service und AWS Lambda werden Ihnen separat in Rechnung gestellt, darunter auch die Kosten für Speicherplatz und Anfragen. Weitere Informationen finden Sie auf Preise zu Amazon S3, Preise zu Amazon Redshift, Preise zu Amazon OpenSearch Service und Preise zu AWS Lambda.

F: Was garantiert mir der Amazon Kinesis Data Firehose-SLA?

Unser Amazon Kinesis Data Firehose-SLA garantiert für Amazon Kinesis Data Firehose einen monatlichen Verfügbarkeitsprozentsatz von mindestens 99,9 %.

F: Wie erfahre ich, ob ich zu einer Gutschrift aus dem SLA berechtigt bin?

Sie kommen für eine SLA-Gutschrift für Amazon Kinesis Data Firehose im Rahmen der Amazon Kinesis Data Firehose-SLA in Frage, wenn mehr als eine Availability Zone, in der Sie eine Aufgabe ausführen, innerhalb derselben Region während eines beliebigen monatlichen Abrechnungszyklus einen monatlichen Verfügbarkeitsprozentsatz von weniger als 99,9 % aufweist.

Ausführliche Informationen zu allen Bestimmungen des SLA sowie Einzelheiten zur Geltendmachung eines Anspruchs finden Sie auf der Seite zum Amazon Kinesis Data Firehose-SLA.