Amazon Kinesis Firehose
Cloud AWS
Démarrer avec Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose est le moyen le plus simple de charger des données de streaming vers des magasins de données et des outils d'analyse. Les données de streaming sont capturées, transformées et chargées automatiquement dans Amazon S3, Amazon Redshift, Amazon Elasticsearch Service et Splunk, ce qui permet d'effectuer des analyses quasiment en temps réel avec les tableaux de bord et outils d'informatique décisionnelle existants que vous utilisez habituellement. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser et chiffrer les données avant de les charger, ce qui réduit l'espace de stockage utilisé tout en renforçant la sécurité.

Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à envoyer des données vers ce flux depuis des centaines de milliers de sources de données, afin de les charger en continu dans AWS ; le tout ne prend que quelques minutes.

Avec Amazon Kinesis Data Firehose, vous payez uniquement en fonction du volume de données effectivement transféré via le service. Il n'y a pas de montant minimum ni de frais d'installation.

Amazon Kinesis Firehose



KinesisAnalytics_LP_EasyToUse

Amazon Kinesis Data Firehose permet de capturer et de charger facilement des données de streaming, en quelques clics dans AWS Management Console. Il suffit de créer un flux de diffusion Firehose et de sélectionner les emplacements de destination pour commencer à envoyer des données en temps réel depuis plusieurs centaines de milliers de sources de données simultanément. Le service se charge de gérer le flux, et assure notamment l'intégralité des opérations de dimensionnement, partitionnement et surveillance requises pour charger les données en continu dans les emplacements de destination, à la fréquence que vous avez spécifiée.

KinesisAnalytics_LP_FullyManaged

Amazon Kinesis Data Firehose est intégré dans Amazon S3, Amazon Redshift et Amazon Elasticsearch Service. Dans AWS Management Console, vous pouvez faire en sorte qu'Amazon Kinesis Data Firehose renvoie vers un compartiment S3, une table Amazon Redshift ou un domaine Amazon Elasticsearch. Utilisez ensuite vos applications et outils d'analyse existants pour traiter les données en streaming.

KinesisAnalytics_LP_AutomaticElasticity

Amazon Kinesis Data Firehose vous permet de préparer vos flux de données en streaming avant d'être chargées dans les entrepôts de données. Avec Kinesis Data Firehose, vous pouvez facilement convertir les flux de données brutes en streaming provenant de vos sources de données vers les formats requis par les entrepôts de données de destination, sans avoir à construire vos propres pipelines de traitement de données. En savoir plus »

KinesisAnalytics_LP_RealTimeProcessing

Amazon Kinesis Data Firehose capture et charge les données quasiment en temps réel. Les nouvelles données sont chargées dans Amazon S3, Amazon Redshift, Amazon Elasticsearch et Splunk dans les 60 secondes suivant leur envoi au service. Ainsi, vous avez accès aux nouvelles données plus rapidement et pouvez réagir plus tôt face aux événements métier et opérationnels.

benefit_Fully-Managed

Amazon Kinesis Data Firehose est un service entièrement géré qui alloue, gère et dimensionne automatiquement les ressources de calcul, de mémoire et de réseau nécessaires au chargement de données de streaming. Une fois configuré, Kinesis Data Firehose charge les données en continu dès qu'elles lui parviennent.

KinesisAnalytics_LP_PayForUse

Avec Amazon Kinesis Data Firehose, vous payez uniquement le volume de données transmis via le service. Il n'y a pas de frais minimaux et aucun engagement initial n'est requis.

Avec Amazon Kinesis Data Firehose, vous pouvez capturer en continu les données provenant d'appareils connectés tels que les appareils électroniques grand public, les capteurs intégrés et les décodeurs TV. Amazon Kinesis Data Firehose charge les données dans Amazon Redshift : vos clients peuvent donc accéder pratiquement en temps réel aux métriques, informations et tableaux de bord.

firehose-use-case-diagram-iot
hello_logo-2

« Avec Firehose et Redshift, il n'a fallu que quelques clics pour passer de données brutes en streaming à des informations avancées en temps réel. »

– Tim Bart, responsable informatique, Hello Inc.


Vous pouvez intégrer divers types d'enregistrements de données à partir de systèmes de suivi des audiences, de programmes d'écoute/d'enchères pour les plates-formes d'échange d'espaces publicitaires et de serveurs d'annonces, et tout combiner dans un même flux. Vous pouvez ensuite réaliser des transformations et des analyses de données en micro-lots avec Spark Streaming ou pour chaque événement avec AWS Lambda. Avec Amazon Kinesis Data Firehose, vous pouvez diffuser les données transformées, enrichies et résumées vers d'autres services d'analyse et de stockage, notamment Amazon S3 et Amazon Redshift. Tester l'exemple de projet »

firehose-use-case-diagram-ad-tech

Amazon Kinesis Data Firehose peut assurer la diffusion de métriques en temps réel sur vos contenus numériques, afin que les auteurs et les annonceurs puissent interagir avec leurs clients de la manière la plus efficace possible. Vous pouvez diffuser en continu des milliards de messages qui sont compressés, chiffrés et transmis à Amazon Elasticsearch Service et Amazon Redshift. Une fois dans Amazon Elasticsearch Service et Amazon Redshift, vous pouvez regrouper, filtrer et traiter les données, et actualiser les tableaux de bord affichant les performances du contenu quasiment en temps réel. Par exemple, Hearst Corporation a créé une plate-forme d'analyse des parcours de navigation à l'aide d'Amazon Kinesis Data Streams, d'Amazon Kinesis Data Firehose, d'Amazon Redshift et d'Amazon Elasticsearch Service pour transmettre et traiter 30 téraoctets de données par jour depuis les 300 sites web internationaux de Hearst. Grâce à cette plate-forme, Hearst peut mettre l'ensemble du flux de données, des clics effectués sur les sites Web aux données agrégées, à la disposition des rédacteurs en quelques minutes. Lire l'étude de cas »

firehose-use-case-diagram-digital-marketing
BigData_logo-hearst

« Je ne sais pas comment notre pipeline de données de parcours de navigation aurait pu fonctionner sans Amazon Kinesis. Cela aurait nécessité plusieurs semaines d'ingénierie. Grâce à Kinesis Data Streams et Kinesis Data Firehose, l'ensemble du processus est extrêmement simple et fiable. »

– Peter Jaffe, spécialiste des données, Hearst Corporation

440x220_APN-Blog

Dans cet article, nous vous expliquons comment utiliser des services AWS tels qu'AWS Glue pour créer une architecture lambda entièrement sans serveur. Nous vous proposons une démonstration pratique pour examiner l'intégration étroite entre les services sans serveur sur AWS et créer un système d'architecture lambda de traitement de données robuste.

Lire l'article complet »

Pour répliquer efficacement des données d'Amazon DynamoDB vers Amazon Aurora, un processus de réplication de données fiable et scalable (ETL) doit être créé. Dans cet article, j'explique comment développer un tel processus à l'aide d'une architecture sans serveur avec AWS Lambda et Amazon Kinesis Data Firehose.

Lire l'article complet »

L'année dernière, j'ai publié un article sur le blog AWS Security qui expliquait comment optimiser et visualiser vos groupes de sécurité. Cette publication approfondit ce sujet en abordant l'utilisation d'Amazon Kinesis Data Firehose et AWS Lambda pour étendre l'ensemble de données des journaux de flux VPC et renforcer votre capacité d'optimisation des groupes de sécurité.

Lire l'article complet »

Dans cet article, nous vous expliquons d'abord comment configurer un domaine Amazon Elasticsearch Service. Nous vous indiquons ensuite comment créer un flux Firehose exploitant une fonction Lambda prédéfinie pour analyser les journaux Web Apache. Enfin, nous vous montrons comment charger des données avec Amazon Kinesis Agent pour les visualiser via Kibana.

Lire l'article complet »

Cet article de blog explique comment créer une architecture sans serveur en utilisant Kinesis Data Firehose, AWS Lambda, Amazon S3, Amazon Athena et Amazon QuickSight pour recueillir, stocker, interroger et visualiser les journaux de flux.

Lire l'article complet »

Amazon Kinesis Data Firehose est un service entièrement géré qui permet de fournir des données en streaming et en temps réel à des destinations comme Amazon S3, Amazon Redshift ou Amazon Elasticsearch Service (Amazon ES). Dans cet article, je présente les capacités de transformation de données de vos flux de diffusion, qui permettent de transformer facilement les données sources entrantes et de livrer les données transformées à vos destinations.

Lire l'article complet »

Dans cet article, j'explique comment créer une solution d'informatique décisionnelle pour la diffusion en streaming des données d'un appareil IoT en utilisant les services sans serveur et les services gérés AWS. Vous pouvez être opérationnel en quelques minutes en commençant petit, mais en étant en mesure de vous développer facilement sur des millions d'appareils et des milliards de messages.

Lire l'article complet »

Pour obtenir la liste complète des articles de blog relatifs à Amazon Kinesis Data Firehose et à l'analyse en temps réel, consultez la page des articles de blog »

Pour commencer à utiliser Amazon Kinesis Data Firehose, c'est très simple. Il vous suffit de vous connecter à notre console et de configurer votre premier flux de diffusion en quelques clics.

 

Démarrer