Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose est le moyen le plus simple de charger de manière fiable les données de streaming dans des lacs de données, des magasins de données et des services d'analytique. Il peut capturer, transformer et diffuser des données de streaming vers Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, des points de terminaison HTTP génériques et des fournisseurs de services tels que Datadog, New Relic, MongoDB et Splunk. Amazon Kinesis Data Firehose est un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser, transformer et chiffrer vos flux de données avant de les charger, ce qui réduit l'espace de stockage utilisé et renforce la sécurité.
Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à ingérer des données de streaming depuis des centaines de milliers de sources de données vers vos emplacements de destination spécifiés. Vous pouvez également configurer vos flux de données afin de convertir automatiquement les données entrantes dans des formats ouverts et standard comme Apache Parquet et Apache ORC avant leur diffusion.
Avec Amazon Kinesis Data Firehose, il n'y a pas de frais minimums ni de coûts d'installation. Vous payez le volume de données que vous transférez via le service, au besoin, pour la conversion des formats de données, ainsi que la diffusion Amazon VPC et le transfert de données.
Avantages
Simple d'utilisation
Amazon Kinesis Data Firehose permet de capturer, transformer et charger en toute simplicité des données de streaming en quelques clics dans AWS Management Console. Vous pouvez rapidement créer un flux de diffusion Firehose et sélectionner les emplacements de destination, puis commencer à envoyer des données en temps réel depuis plusieurs centaines de milliers de sources de données simultanément. Le service se charge de gérer le flux, et assure notamment l'intégralité des opérations de mise à l'échelle, de partitionnement et de surveillance requises pour charger les données continuellement dans les emplacements de destination, à la fréquence que vous spécifiez.
Intégration avec les services AWS et les fournisseurs de services
Amazon Kinesis Data Firehose est intégré à Amazon S3, Amazon Redshift et Amazon Elasticsearch Service. Il peut également diffuser les données vers des points de terminaison HTTP génériques et directement vers des fournisseurs de services, par exemple Datadog, New Relic, MongoDB et Splunk. À partir d'AWS Management Console, vous pouvez pointer Kinesis Data Firehose vers les emplacements de destination de votre choix et utiliser vos applications et outils existants pour analyser les données de streaming.
Transformation de données sans serveur
Amazon Kinesis Data Firehose vous permet de préparer vos données de streaming avant leur chargement dans des magasins de données. Avec Kinesis Data Firehose, vous pouvez facilement convertir les données de streaming brutes provenant de vos sources de données vers les formats (Apache Parquet, Apache ORC, etc.) requis par les magasins de données de destination, sans avoir à construire vos propres pipelines de traitement de données. En savoir plus »
Quasi-temps réel
Amazon Kinesis Data Firehose capture et charge les données quasiment en temps réel. Il charge les nouvelles données dans vos emplacements de destination dans les 60 secondes suivant leur envoi au service. Ainsi, vous avez accès aux nouvelles données plus rapidement et pouvez réagir plus tôt face aux événements métier et opérationnels.
Aucune administration continue
Amazon Kinesis Data Firehose est un service entièrement géré qui alloue, gère et met à l'échelle automatiquement les ressources de calcul, de mémoire et de réseau nécessaires pour traiter et charger vos données de streaming. Une fois configuré, Kinesis Data Firehose charge continuellement les flux de données dans vos emplacements de destination au fil de leur arrivée.
Paiement en fonction de l'utilisation
Avec Amazon Kinesis Data Firehose, vous ne payez que la quantité de données que vous transmettez via le service et, le cas échéant, les conversions de formats des données. Vous payez également la diffusion Amazon VPC et le transfert des données lorsque cela s'applique. Il n'y a ni frais minimums ni engagements initiaux.
Principe de fonctionnement
Cas d'utilisation
Amazon Kinesis Data Firehose est le moyen le plus simple de charger de manière fiable des données de streaming dans des lacs de données, des magasins de données et des outils d'analytique. Vous trouverez ci-dessous des cas d'utilisation clés de clients qui font confiance à Amazon Kinesis Data Firehose.
IoT Analytics
Avec Amazon Kinesis Data Firehose, vous pouvez capturer en continu les données provenant d'appareils connectés tels que les appliances grand public, les capteurs intégrés et les décodeurs TV. Kinesis Data Firehose charge les données dans les emplacements de destination que vous spécifiez, offrant ainsi un accès quasi-temps réel aux métriques, informations et tableaux de bord.
Analytique des parcours de navigation
Vous pouvez utiliser Amazon Kinesis Data Firehose pour ingérer des données de parcours de navigation en temps réel, ce qui permet aux marketeurs d'interagir avec leurs clients de la manière la plus efficace possible. Vous pouvez diffuser en streaming des milliards de courts messages qui sont compressés, chiffrés et transmis vers vos emplacements de destination. Depuis ce point, vous pouvez regrouper, filtrer et traiter les données, ainsi qu'actualiser les tableaux de bord affichant les performances de contenu quasiment en temps réel.
Analytique de journaux
Vous pouvez détecter les erreurs d'applications lorsqu'elles se produisent et identifier la cause racine en collectant, surveillant et analysant les données de journaux. Vous pouvez facilement installer et configurer l'agent Amazon Kinesis sur vos serveurs pour voir automatiquement les fichiers journaux des applications et serveurs et envoyer les données vers Kinesis Data Firehose. Kinesis Data Firehose diffuse en continu les données de journaux vers vos emplacements de destination, ce qui vous permet de les visualiser et de les analyser.
Surveillance de la sécurité
Kinesis Data Firehose prend en charge Splunk comme destination. Cela signifie que vous pouvez capturer des journaux de flux de trafic réseau et les envoyer à Kinesis Data Firehose, qui peut transformer, enrichir et charger les données dans Splunk. Avec cette solution, vous pouvez surveiller la sécurité du réseau en temps réel et savoir lorsqu'une menace potentielle se dessine.
Études de cas
Démarrer avec Amazon Kinesis Data Firehose
En savoir plus sur Kinesis Data Firehose grâce au guide du développeur.
Obtenez de l'expérience pratique avec ce didacticiel.
En savoir plus sur les fonctions d'Amazon Kinesis Data Firehose