Amazon Kinesis Data Firehose est le moyen le plus simple de charger des données de streaming vers des magasins de données et des outils d'analyse. Kinesis Data Firehose est un service entièrement géré qui facilite la collecte et le chargement de gros volumes de données diffusées en streaming à partir de centaines de milliers de sources dans Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Kinesis Data Analytics et Splunk afin de bénéficier d'analyses et d'informations stratégiques en temps quasi réel.

Découvrez gratuitement AWS

Créer un compte gratuit

Profitez pendant 12 mois du niveau d'utilisation gratuit d'AWS et bénéficiez du niveau de base d'AWS Support qui inclut un service client disponible 24h/24, 7j/7 et 365 jours par an, l'accès à des forums d'assistance et bien d'autres avantages. Amazon Kinesis Data Firehose n'est actuellement pas disponible dans le cadre de l'offre gratuite d'AWS.


Quelques clics dans AWS Management Console suffisent pour lancer Amazon Kinesis Data Firehose et créer un flux de diffusion pour charger les données dans Amazon S3, Amazon Redshift, Amazon Elasticsearch Service ou Splunk. Vous pouvez envoyer des données vers ce flux de diffusion en appelant l'API Firehose ou en exécutant l'agent Linux fourni sur la source de données. Kinesis Data Firehose charge ensuite en continu les données dans Amazon S3, Amazon Redshift, Amazon Elasticsearch Service et Splunk.

Vous pouvez indiquer la taille ou l'intervalle des lots, afin de contrôler la rapidité de chargement des données dans leurs destinations. Par exemple, vous pouvez définir l'intervalle d'un lot sur 60 secondes si vous souhaitez recevoir les nouvelles données dans les 60 secondes suivant leur envoi vers votre flux de diffusion. Vous pouvez également indiquer si vous souhaitez que les données fassent l'objet d'une compression. Le service prend en charge la plupart des algorithmes de compression, notamment GZip et Snappy. La mise en lots et la compression des données avant leur chargement vous permettent de contrôler la rapidité avec laquelle vous recevez les nouvelles données au niveau des destinations.

Une fois lancés, vos flux de diffusion s'adaptent automatiquement en taille pour pouvoir gérer le plusieurs gigaoctets de données entrantes par seconde tout en maintenant le temps de latence des données au niveau que vous avez spécifié. Aucune intervention ni maintenance n'est nécessaire.

Amazon Kinesis Data Firehose vous permet de préparer vos flux de données en streaming avant de les charger dans des entrepôts de données. Il vous suffit de sélectionner une fonction AWS Lambda dans l'onglet de configuration du flux de diffusion Amazon Kinesis Data Firehose dans AWS Management Console. Amazon Kinesis Data Firehose appliquera automatiquement cette fonction à chaque enregistrement de données d'entrée et chargera les données transformées vers leurs destinations. Amazon Kinesis Data Firehose fournit des plans Lambda préconfigurés pour convertir des sources de données communes telles que les journaux Apache et les journaux système aux formats JSON et CSV. Vous pouvez utiliser ces plans préconfigurés sans effectuer aucune modification, les personnaliser davantage ou écrire vos propres fonctions personnalisées. Vous pouvez également configurer Amazon Kinesis Data Firehose pour réessayer automatiquement les tâches échouées et sauvegarder les données brutes en streaming. En savoir plus »

Amazon Kinesis Data Firehose prend actuellement en charge Amazon S3, Amazon Redshift, Amazon Elasticsearch Service et Splunk en tant que destinations. Vous pouvez indiquer comme destination le compartiment Amazon S3, la table Amazon Redshift, le domaine Amazon Elasticsearch ou le cluster Splunk dans lequel les données doivent être chargées.

Amazon Kinesis Data Firehose propose, en option, de chiffrer automatiquement vos données une fois qu'elles sont chargées dans leur destination. Vous pouvez indiquer une clé de chiffrement AWS KMS (Key Management System) lors de la configuration des flux de diffusion.

Amazon Kinesis Data Firehose fait l'objet de plusieurs métriques dans la console, ainsi que dans Amazon CloudWatch. Les métriques portent notamment sur le volume des données envoyées, le volume des données chargées dans l'emplacement de destination, le temps écoulé entre la source et la destination, et le taux de réussite de chargement. Ces mesures peuvent vous aider à surveiller l'état de vos flux de diffusion, à entreprendre toute action nécessaire (par exemple, modifier certaines destinations) et à vérifier que le service importe correctement les données et les charge dans les destinations.

Avec Amazon Kinesis Data Firehose, vous payez uniquement le volume de données transmis via le service. Il n'y a pas de frais minimaux et aucun engagement initial n'est requis. Vous n'avez pas besoin de personnel pour assurer le fonctionnement, adapter la taille et assurer l'entretien de l'infrastructure ou d'applications personnalisées afin de collecter et de charger des données diffusées en continu.