Amazon Kinesis Data Firehose

Préparez et chargez des flux de données en temps réel vers des magasins de données et des outils d'analyse

Amazon Kinesis Data Firehose est le moyen le plus simple de charger de manière fiable des données de streaming vers des magasins de données et des outils d'analyse. Les données en streaming sont capturées, transformées et chargées dans Amazon S3, Amazon Redshift, Amazon Elasticsearch Service et Splunk, ce qui permet d'effectuer des analyses quasiment en temps réel avec les tableaux de bord et outils d'informatique décisionnelle existants que vous utilisez habituellement. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser, transformer et chiffrer les données avant de les charger, ce qui réduit l'espace de stockage utilisé tout en renforçant la sécurité.

Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à envoyer des données vers ce flux depuis des centaines de milliers de sources de données afin de les charger en continu dans AWS ; le tout ne prend que quelques minutes. Vous pouvez également configurer votre flux de distribution pour convertir automatiquement les données entrantes en formats à colonnes comme Apache Parquet et Apache ORC avant que les données soient transférées vers Amazon S3, pour un stockage et une analyse économiques.

Avec Kinesis Data Firehose, vous ne payez que pour la quantité de données que vous transmettez via le service et, le cas échéant, pour les conversions de format des données. Il n'y a pas de montant minimum ni de frais d'installation.

Vidéo : What is Amazon Kinesis Data Firehose?

Avantages

Facilité d'utilisation

Amazon Kinesis Data Firehose permet de capturer, transformer et de charger facilement des données de streaming en quelques clics dans AWS Management Console. Il suffit de créer un flux de diffusion Firehose et de sélectionner les emplacements de destination pour commencer à envoyer des données en temps réel depuis plusieurs centaines de milliers de sources de données simultanément. Le service se charge de gérer le flux, et assure notamment l'intégralité des opérations de dimensionnement, partitionnement et surveillance requises pour charger les données en continu dans les emplacements de destination, à la fréquence que vous avez spécifiée.

Intégration dans les magasins de données AWS

Amazon Kinesis Data Firehose est intégré dans Amazon S3, Amazon Redshift et Amazon Elasticsearch Service. Dans AWS Management Console, vous pouvez faire en sorte qu'Amazon Kinesis Data Firehose renvoie vers un compartiment S3, une table Amazon Redshift ou un domaine Amazon Elasticsearch. Utilisez ensuite vos applications et outils d'analyse existants pour traiter les données en streaming.

Transformation de données sans serveur

Amazon Kinesis Data Firehose vous permet de préparer vos flux de données en streaming avant d'être chargées dans les entrepôts de données. Avec Kinesis Data Firehose, vous pouvez facilement convertir les flux de données brutes en streaming provenant de vos sources de données vers les formats requis par les entrepôts de données de destination, sans avoir à construire vos propres pipelines de traitement de données. En savoir plus »

En temps quasi réel

Amazon Kinesis Data Firehose capture et charge les données quasiment en temps réel. Les nouvelles données sont chargées dans Amazon S3, Amazon Redshift, Amazon Elasticsearch et Splunk dans les 60 secondes suivant leur envoi au service. Ainsi, vous avez accès aux nouvelles données plus rapidement et pouvez réagir plus tôt face aux événements métier et opérationnels.

Aucune administration continue

Amazon Kinesis Data Firehose est un service entièrement géré qui alloue, gère et dimensionne automatiquement les ressources de calcul, de mémoire et de réseau nécessaires au chargement de données de streaming. Une fois configuré, Kinesis Data Firehose charge les données en continu dès qu'elles lui parviennent.

Paiement en fonction de l'utilisation

Avec Amazon Kinesis Data Firehose, vous ne payez que pour la quantité de données que vous transmettez via le service et, le cas échéant, pour les conversions de format des données. Il n'y a pas de frais minimaux et aucun engagement initial n'est requis.

Fonctionnement

diagram-how-it-works-kinesis-data-firehose-splunk

Cas d'utilisation

IoT Analytics

Avec Amazon Kinesis Data Firehose, vous pouvez capturer en continu les données provenant d'appareils connectés tels que les appliances grand public, les capteurs intégrés et les décodeurs TV. Kinesis Data Firehose charge les données dans Amazon S3 et Amazon Redshift : vos clients peuvent donc accéder pratiquement en temps réel aux métriques, informations et tableaux de bord.

Analyse des parcours de navigation

Amazon Kinesis Data Firehose peut assurer la diffusion de métriques en temps réel sur vos contenus numériques, afin que les auteurs et les annonceurs puissent interagir avec leurs clients de la manière la plus efficace possible. Vous pouvez diffuser en continu des milliards de messages qui sont compressés, chiffrés et transmis à Amazon Elasticsearch Service et Amazon Redshift. Depuis ce point, vous pouvez regrouper, filtrer et traiter les données, et actualiser les tableaux de bord affichant les performances du contenu quasiment en temps réel. Par exemple, Hearst Corporation a créé une plate-forme d'analyse des parcours de navigation à l'aide d'Amazon Kinesis Firehose pour transmettre et traiter 30 téraoctets de données par jour depuis plus de 300 sites Web internationaux. Grâce à cette plate-forme, Hearst peut mettre l'ensemble du flux de données, des clics effectués sur les sites Web aux données agrégées, à la disposition des rédacteurs en quelques minutes. Lire l'étude de cas »

Analyse des fichiers journaux

Les données de journalisation de vos applications et serveurs s'exécutant dans le cloud et sur site peuvent vous aider à surveiller vos applications et à résoudre rapidement les problèmes. Par exemple, vous pouvez détecter les erreurs d'application lorsqu'elles se produisent et identifier la cause racine en collectant, surveillant et analysant les données de journalisation. Vous pouvez facilement installer et configurer l'Amazon Kinesis Agent sur vos serveurs pour voir automatiquement les fichiers journaux des applications et des serveurs et envoyer les données à Kinesis Data Firehose. Kinesis Data Firehose diffuse en continu les données de journalisation à Amazon Elasticsearch Service, si bien que vous pouvez visualiser et analyser les données dans Kibana.

Surveillance de la sécurité

Kinesis Data Firehose prend en charge Splunk comme destination. Cela signifie que vous pouvez capturer des journaux de flux de trafic réseau et les envoyer à Kinesis Data Firehose, qui peut transformer, enrichir et charger les données dans Splunk. Avec cette solution, vous pouvez surveiller la sécurité du réseau en temps réel et savoir lorsqu'une menace potentielle se dessine.