Amazon Kinesis Firehose est la solution la plus simple pour charger des données en diffusion continue dans AWS. Amazon Kinesis Firehose est un service entièrement géré qui facilite la collecte et le chargement de gros volumes de données diffusées en continu à partir de centaines de milliers de sources dans Amazon S3, Amazon Redshift, Amazon Elasticsearch et Amazon Kinesis Analytics afin de bénéficier d'analyses et d'informations stratégiques en temps quasi réel.

Découvrez gratuitement AWS

Créer un compte gratuit

Profitez pendant 12 mois du niveau d'utilisation gratuit d'AWS et bénéficiez du niveau de base d'AWS Support qui inclut un service client disponible 24h/24, 7j/7 et 365 jours par an, l'accès à des forums d'assistance et bien d'autres avantages. Amazon Kinesis Firehose n'est actuellement pas disponible dans le cadre du niveau gratuit d'AWS.


Quelques clics dans AWS Management Console suffisent pour lancer Amazon Kinesis Firehose et créer un flux de diffusion pour charger les données dans Amazon S3, Amazon Redshift ou Amazon Elasticsearch Service. Vous pouvez envoyer des données vers ce flux en appelant l'API Firehose ou en exécutant l'agent Linux fourni sur la source de données. Amazon Kinesis Firehose charge ensuite en continu les données dans Amazon S3, Amazon Redshift et Amazon Elasticsearch Service.

Vous pouvez indiquer la taille ou l'intervalle des lots, afin de contrôler la rapidité de chargement des données dans leurs destinations. Par exemple, vous pouvez définir l'intervalle d'un lot sur 60 secondes si vous souhaitez recevoir les nouvelles données dans les 60 secondes suivant leur envoi vers votre flux de diffusion. Vous pouvez également indiquer si vous souhaitez que les données fassent l'objet d'une compression. Le service prend en charge la plupart des algorithmes de compression, notamment GZip et Snappy. La mise en lots et la compression des données avant leur chargement vous permettent de contrôler la rapidité avec laquelle vous recevez les nouvelles données au niveau des destinations.

Une fois lancés, vos flux de diffusion s'adaptent automatiquement en taille pour pouvoir gérer le plusieurs gigaoctets de données entrantes par seconde tout en maintenant le temps de latence des données au niveau que vous avez spécifié. Aucune intervention ni maintenance n'est nécessaire.

Amazon Kinesis Firehose vous permet de préparer vos flux de données en continu avant d'être chargées dans les entrepôts de données. Il vous suffit de sélectionner une fonction AWS Lambda dans l'onglet de configuration du flux de livraison Amazon Kinesis Firehose dans la console de gestion AWS. Amazon Kinesis Firehose appliquera automatiquement cette fonction à chaque enregistrement de données d'entrée et chargera les données transformées vers leurs destinations. Amazon Kinesis Firehose fournit des plans Lambda préconfigurés pour convertir des sources de données communes telles que les journaux Apache et les journaux système aux formats JSON et CSV. Vous pouvez utiliser ces plans préconfigurés sans effectuer aucune modification, les personnaliser davantage ou écrire vos propres fonctions personnalisées. Vous pouvez également configurer Amazon Kinesis Firehose pour réessayer automatiquement les tâches échouées et sauvegarder les données brutes en flux continu. En savoir plus »

Amazon Kinesis Firehose prend actuellement en charge Amazon S3, Amazon Redshift et Amazon Elasticsearch Service en tant que destinations. Vous pouvez indiquer comme destination le bucket (compartiment) Amazon S3, la table Amazon Redshift ou le domaine Amazon Elasticsearch dans lequel les données doivent être chargées.

Amazon Kinesis Firehose propose, en option, de chiffrer automatiquement vos données une fois qu'elles sont chargées dans leur destination. Vous pouvez indiquer une clé de chiffrement AWS KMS (Key Management System) lors de la configuration des flux de diffusion.

Amazon Kinesis Firehose fait l'objet de plusieurs mesures dans la console, ainsi que dans Amazon CloudWatch. Les mesures portent notamment sur le volume des données envoyées, le volume des données chargées dans l'emplacement de destination, le temps écoulé entre la source et la destination, et le taux de réussite de chargement. Ces mesures peuvent vous aider à surveiller l'état de vos flux de diffusion, à entreprendre toute action nécessaire (par exemple, modifier certaines destinations) et à vérifier que le service importe correctement les données et les charge dans les destinations.

Avec Amazon Kinesis Firehose, vous payez uniquement le volume de données transmis via le service. Il n'y a pas de frais minimaux et aucun engagement initial n'est requis. Vous n'avez pas besoin de personnel pour assurer le fonctionnement, adapter la taille et assurer l'entretien de l'infrastructure ou d'applications personnalisées afin de collecter et de charger des données diffusées en continu.