Veröffentlicht am: Sep 27, 2023
Amazon Kinesis Data Firehose ist jetzt in Amazon MSK integriert, um eine vollständig verwaltete Lösung anzubieten, die die Verarbeitung und Bereitstellung von Streaming-Daten aus Clustern von Amazon MSK Apache Kafka in Data Lakes, die in Amazon S3 gespeichert sind, vereinfacht. Mit nur wenigen Klicks können Amazon-MSK-Kunden kontinuierlich Daten aus ihren gewünschten Apache-Kafka-Clustern in ihren Amazon-S3-Bucket laden, sodass sie keine eigenen Connector-Anwendungen entwickeln oder ausführen müssen.
Amazon MSK ist ein vollständig verwalteter Service für Apache Kafka, mit dem Sie problemloser Anwendungen erstellen und ausführen können, die Apache Kafka als Datenspeicher nutzen. Kinesis Data Firehose ist ein vollständig verwalteter Service, der kontinuierlich Streaming-Daten erfasst, transformiert und an Data Lakes, Datenspeicher und Analyseservices sendet. Kinesis Data Firehose passt sich automatisch und ohne laufende Verwaltung dem Durchsatz Ihrer Amazon-MSK-Daten an. Kinesis Data Firehose bietet auch benutzerfreundliche Features wie JSON zu Parquet/ORC für die Formatkonvertierung und Batch-Aggregation zur Optimierung der S3-Dateigröße. Diese Features vereinfachen die Datenanalyse-/Verarbeitungsabläufe der gelieferten Daten.
Für den Einstieg benötigen Sie ein AWS-Konto. Sobald Sie über ein Konto verfügen, können Sie einen Lieferdatenstrom in der Amazon Kinesis-Konsole erstellen. Weitere Informationen hierzu finden Sie im Entwicklerhandbuch zu Amazon Kinesis Data Firehose.
Die Lieferung von Amazon MSK an Amazon S3 mit Amazon Kinesis Data Firehose kann in allen kommerziellen Regionen und in allen Regionen von AWS GovCloud (USA) verwendet werden, in denen Amazon MSK und Kinesis Data Firehose verfügbar sind.
Seit dem 09. Februar 2024 heißt Kinesis Data Firehose nun Amazon Data Firehose