Publié le: Sep 27, 2023
Amazon Kinesis Data Firehose s'intègre désormais à Amazon MSK pour proposer une solution entièrement gérée qui simplifie le traitement et la diffusion des données de streaming depuis les clusters Amazon MSK Apache Kafka vers des lacs de données stockés sur Amazon S3. En quelques clics, les clients Amazon MSK peuvent charger en continu les données des clusters Apache Kafka de leur choix vers leur compartiment Amazon S3, éliminant ainsi le besoin de développer ou d'exécuter leurs propres applications de connecteur.
Amazon MSK est un service entièrement géré pour Apache Kafka qui vous permet de créer et d'exécuter plus facilement des applications utilisant Apache Kafka comme banque de données. Kinesis Data Firehose est un service entièrement géré qui capture, transforme et diffuse en continu des données en streaming vers des lacs de données, des magasins de données et des services d'analyse. Kinesis Data Firehose s'adapte automatiquement au débit de vos données Amazon MSK, sans administration continue. Kinesis Data Firehose propose également des fonctionnalités faciles à utiliser, telles que JSON vers Parquet/ORC pour la conversion de formats et l'agrégation par lots afin d'optimiser la taille du fichier S3. Ces fonctionnalités simplifient les flux de travail d'analyse/de traitement des données sur les données fournies.
Pour démarrer, vous aurez besoin d'un compte AWS. Lorsque vous disposez d'un compte, vous pouvez créer un flux de diffusion dans la console Amazon Kinesis. Pour en savoir plus, consultez le Guide du développeur d’Amazon Kinesis Data Firehose.
La livraison d'Amazon MSK vers Amazon S3 à l'aide d'Amazon Kinesis Data Firehose peut être utilisée dans toutes les régions commerciales et dans toutes les régions AWS GovCloud (US) où Amazon MSK et Kinesis Data Firehose sont disponibles.
Depuis le 9 février 2024, Kinesis Data Firehose est désormais Amazon Data Firehose