Amazon Kinesis Data Firehose

Préparez et chargez des flux de données en temps réel vers des magasins de données et des services d'analytique.

Amazon Kinesis Data Firehose est le moyen le plus simple de charger de manière fiable les données de streaming dans des lacs de données, des magasins de données et des services d'analytique. Il peut capturer, transformer et diffuser des données de streaming vers Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, des points de terminaison HTTP génériques et des fournisseurs de services tels que Datadog, New Relic, MongoDB et Splunk. Amazon Kinesis Data Firehose est un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser, transformer et chiffrer vos flux de données avant de les charger, ce qui réduit l'espace de stockage utilisé et renforce la sécurité.

Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à ingérer des données de streaming depuis des centaines de milliers de sources de données vers vos emplacements de destination spécifiés. Vous pouvez également configurer vos flux de données afin de convertir automatiquement les données entrantes dans des formats ouverts et standard comme Apache Parquet et Apache ORC avant leur diffusion.

Avec Amazon Kinesis Data Firehose, il n'y a pas de frais minimums ni de coûts d'installation. Vous payez le volume de données que vous transférez via le service, au besoin, pour la conversion des formats de données, ainsi que la diffusion Amazon VPC et le transfert de données.

Demandez une assistance pour votre démonstration de faisabilité ou votre évaluation. »
What is Amazon Kinesis Data Firehose? (1:45)

Avantages

Simple d'utilisation

Amazon Kinesis Data Firehose permet de capturer, transformer et charger en toute simplicité des données de streaming en quelques clics dans AWS Management Console. Vous pouvez rapidement créer un flux de diffusion Firehose et sélectionner les emplacements de destination, puis commencer à envoyer des données en temps réel depuis plusieurs centaines de milliers de sources de données simultanément. Le service se charge de gérer le flux, et assure notamment l'intégralité des opérations de mise à l'échelle, de partitionnement et de surveillance requises pour charger les données continuellement dans les emplacements de destination, à la fréquence que vous spécifiez.

Intégration avec les services AWS et les fournisseurs de services

Amazon Kinesis Data Firehose est intégré à Amazon S3, Amazon Redshift et Amazon Elasticsearch Service. Il peut également diffuser les données vers des points de terminaison HTTP génériques et directement vers des fournisseurs de services, par exemple Datadog, New Relic, MongoDB et Splunk. À partir d'AWS Management Console, vous pouvez pointer Kinesis Data Firehose vers les emplacements de destination de votre choix et utiliser vos applications et outils existants pour analyser les données de streaming.

Transformation de données sans serveur

Amazon Kinesis Data Firehose vous permet de préparer vos données de streaming avant leur chargement dans des magasins de données. Avec Kinesis Data Firehose, vous pouvez facilement convertir les données de streaming brutes provenant de vos sources de données vers les formats (Apache Parquet, Apache ORC, etc.) requis par les magasins de données de destination, sans avoir à construire vos propres pipelines de traitement de données. En savoir plus »

Quasi-temps réel

Amazon Kinesis Data Firehose capture et charge les données quasiment en temps réel. Il charge les nouvelles données dans vos emplacements de destination dans les 60 secondes suivant leur envoi au service. Ainsi, vous avez accès aux nouvelles données plus rapidement et pouvez réagir plus tôt face aux événements métier et opérationnels.

Aucune administration continue

Amazon Kinesis Data Firehose est un service entièrement géré qui alloue, gère et met à l'échelle automatiquement les ressources de calcul, de mémoire et de réseau nécessaires pour traiter et charger vos données de streaming. Une fois configuré, Kinesis Data Firehose charge continuellement les flux de données dans vos emplacements de destination au fil de leur arrivée.

Paiement en fonction de l'utilisation

Avec Amazon Kinesis Data Firehose, vous ne payez que la quantité de données que vous transmettez via le service et, le cas échéant, les conversions de formats des données. Vous payez également la diffusion Amazon VPC et le transfert des données lorsque cela s'applique. Il n'y a ni frais minimums ni engagements initiaux.

Principe de fonctionnement

Fonctionnement d'Amazon Kinesis Data Firehose

Cas d'utilisation

Amazon Kinesis Data Firehose est le moyen le plus simple de charger de manière fiable des données de streaming dans des lacs de données, des magasins de données et des outils d'analytique. Vous trouverez ci-dessous des cas d'utilisation clés de clients qui font confiance à Amazon Kinesis Data Firehose.

IoT Analytics

Avec Amazon Kinesis Data Firehose, vous pouvez capturer en continu les données provenant d'appareils connectés tels que les appliances grand public, les capteurs intégrés et les décodeurs TV. Kinesis Data Firehose charge les données dans les emplacements de destination que vous spécifiez, offrant ainsi un accès quasi-temps réel aux métriques, informations et tableaux de bord.

Analytique des parcours de navigation

Vous pouvez utiliser Amazon Kinesis Data Firehose pour ingérer des données de parcours de navigation en temps réel, ce qui permet aux marketeurs d'interagir avec leurs clients de la manière la plus efficace possible. Vous pouvez diffuser en streaming des milliards de courts messages qui sont compressés, chiffrés et transmis vers vos emplacements de destination. Depuis ce point, vous pouvez regrouper, filtrer et traiter les données, ainsi qu'actualiser les tableaux de bord affichant les performances de contenu quasiment en temps réel.

Analytique de journaux

Vous pouvez détecter les erreurs d'applications lorsqu'elles se produisent et identifier la cause racine en collectant, surveillant et analysant les données de journaux. Vous pouvez facilement installer et configurer l'agent Amazon Kinesis sur vos serveurs pour voir automatiquement les fichiers journaux des applications et serveurs et envoyer les données vers Kinesis Data Firehose. Kinesis Data Firehose diffuse en continu les données de journaux vers vos emplacements de destination, ce qui vous permet de les visualiser et de les analyser.

Surveillance de la sécurité

Kinesis Data Firehose prend en charge Splunk comme destination. Cela signifie que vous pouvez capturer des journaux de flux de trafic réseau et les envoyer à Kinesis Data Firehose, qui peut transformer, enrichir et charger les données dans Splunk. Avec cette solution, vous pouvez surveiller la sécurité du réseau en temps réel et savoir lorsqu'une menace potentielle se dessine.

Études de cas

3Victors
3Victors ingère plus d'un milliard de recherches sur les voyages à travers le monde et 230 milliards d'itinéraires tarifés au quotidien dans les systèmes de réservation les plus vastes au monde.
Lire l'étude de cas 
Hearst
Hearst diffuse plus de 30 téraoctets par jour de données de parcours de navigation depuis son site Web pour analyse.
Lire l'étude de cas 
Comcast
Comcast collecte et analyse les préférences du client pour lui offrir une expérience de divertissement riche.
Lire l'étude de cas 
Redfin
Redfin conçoit un pipeline d'importation des journaux fiable qui améliore le contrat de niveau de service pour les services de distribution.
Lire l'étude de cas 
Realtor.com
Realtor.com diffuse des données d'impression de publicité et obtient des données exploitables pour améliorer la performance des publicités.
Lire l'étude de cas 
Repp Health
Repp Health utilise les services Amazon Kinesis pour ingérer, surveiller et charger des données IoT de streaming vers un lac de données Amazon S3 à des fins d'analytique des emplacements.
Lire l'étude de cas 

Articles de blog

 Date 
  •  Date 
1

Lisez les blogs Amazon Kinesis Data Firehose.

Démarrer avec Amazon Kinesis Data Firehose

Lire le guide du développeur
Consulter le guide du développeur

En savoir plus sur Kinesis Data Firehose grâce au guide du développeur.

En savoir plus 
Créer gratuitement un compte AWS
Créer gratuitement un compte

Obtenez un accès instantané à l'offre gratuite d'AWS. 

S'inscrire 
Commencer le didacticiel Kinesis Data Firehose
Commencer à diffuser vos données

Obtenez de l'expérience pratique avec ce didacticiel.

Commencer le didacticiel 

En savoir plus sur les fonctions d'Amazon Kinesis Data Firehose

Consulter la page des fonctionnalités
Prêt à vous lancer ?
S'inscrire
D'autres questions ?
Contactez-nous