Amazon Kinesis Firehose
Cloud AWS
Démarrez avec Amazon Kinesis Firehose

Amazon Kinesis Firehose est la solution la plus simple pour charger des données en streaming dans AWS. Les données de streaming sont capturées, transformées et chargées automatiquement dans Amazon Kinesis AnalyticsAmazon S3, Amazon Redshift et Amazon Elasticsearch Service, ce qui permet d'effectuer des analyses quasiment en temps réel avec les tableaux de bord et outils d'informatique décisionnelle existants que vous utilisez habituellement. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser et chiffrer les données avant de les charger, ce qui réduit l'espace de stockage utilisé tout en renforçant la sécurité.

Vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à envoyer des données vers ce flux depuis des centaines de milliers de sources de données, afin de les charger en continu dans AWS ; le tout ne prend que quelques minutes.

Avec Amazon Kinesis Firehose, vous payez uniquement en fonction du volume de données effectivement transféré via le service. Il n'y a pas de montant minimum ni de frais d'installation.

Amazon Kinesis Firehose



KinesisAnalytics_LP_EasyToUse

Amazon Kinesis Firehose permet de capturer et de charger facilement des données en diffusion continue, grâce à quelques clics dans AWS Management Console. Il suffit de créer un flux de diffusion Firehose et de sélectionner les emplacements de destination pour commencer à envoyer des données en temps réel depuis plusieurs centaines de milliers de sources de données simultanément. Le service se charge de gérer le flux, et assure notamment l'intégralité des opérations de dimensionnement, partitionnement et surveillance requises pour charger les données en continu dans les emplacements de destination, à la fréquence que vous avez spécifiée.

KinesisAnalytics_LP_FullyManaged

Amazon Kinesis Firehose est intégré dans Amazon S3, Amazon Redshift et Amazon Elasticsearch Service. Dans AWS Management Console, vous pouvez faire en sorte qu'Amazon Kinesis Firehose renvoie vers un bucket (compartiment) Amazon S3, une table Amazon Redshift ou un domaine Amazon Elasticsearch. Utilisez ensuite vos applications et outils d'analyse existants pour traiter les données en streaming.

KinesisAnalytics_LP_AutomaticElasticity

Amazon Kinesis Firehose vous permet de préparer vos flux de données en continu avant d'être chargées dans les entrepôts de données. Avec Amazon Kinesis Firehose, vous pouvez facilement convertir les flux de données brutes en continu provenant de vos sources de données vers les formats requis par les entrepôts de données de destination, sans avoir à construire vos propres pipelines de traitement de données. En savoir plus »

KinesisAnalytics_LP_RealTimeProcessing

Amazon Kinesis Firehose capture et charge les données quasiment en temps réel. Les nouvelles données sont chargées dans Amazon S3, Amazon Redshift et Amazon Elasticsearch dans les 60 secondes suivant leur envoi au service. Ainsi, vous avez accès aux nouvelles données plus rapidement et pouvez réagir plus tôt face aux événements métier et opérationnels.

benefit_Fully-Managed

Amazon Kinesis Firehose est un service entièrement géré qui alloue, gère et dimensionne automatiquement les ressources de calcul, de mémoire et de réseau nécessaires au chargement de données de diffusion. Une fois configuré, Amazon Kinesis Firehose charge les données en continu dès qu'elles lui parviennent.

KinesisAnalytics_LP_PayForUse

Avec Amazon Kinesis Firehose, vous payez uniquement le volume de données transmis via le service. Il n'y a pas de frais minimums, et aucun engagement initial n'est requis.

Avec Amazon Kinesis Firehose, vous pouvez capturer en continu les données provenant d'appareils connectés tels que les appareils électroniques grand public, les capteurs intégrés et les décodeurs TV. Amazon Kinesis Firehose charge les données dans Amazon Redshift : vos clients peuvent donc accéder pratiquement en temps réel aux métriques, informations et tableaux de bord. Par exemple, Hello Inc., une entreprise commercialisant des appareils grand public, collecte et traite les données transmises en temps réel par les capteurs intégrés dans ses matelas avec Amazon Kinesis Streams, et utilise Amazon Kinesis Firehose pour charger les informations traitées dans Amazon Redshift. Les clients de Hello peuvent surveiller leurs habitudes de sommeil et les conditions qui influencent leur sommeil comme la température et l'humidité ambiantes, ainsi que des moyennes de référence, ce qui leur permet de mieux dormir. Lire l'étude de cas »

firehose-use-case-diagram-iot
hello_logo-2

« Avec Firehose et Redshift, il n'a fallu que quelques clics pour passer de données brutes en streaming à des informations avancées en temps réel. »

– Tim Bart, responsable informatique, Hello Inc.


Vous pouvez intégrer divers types d'enregistrements de données à partir de systèmes de suivi des audiences, de programmes d'écoute/d'enchères pour les plates-formes d'échange d'espaces publicitaires et de serveurs d'annonces, et tout combiner dans un même flux. Vous pouvez ensuite réaliser des transformations et des analyses de données en micro-lots avec Spark Streaming ou pour chaque événement avec AWS Lambda. Avec Amazon Kinesis Firehose, vous pouvez diffuser les données transformées, enrichies et résumées vers d'autres services d'analyse et de stockage, notamment Amazon S3 et Amazon Redshift. Tester l'exemple de projet »

firehose-use-case-diagram-ad-tech

Amazon Kinesis Firehose peut assurer la diffusion de métriques en temps réel sur vos contenus numériques, afin que les auteurs et les annonceurs puissent interagir avec leurs clients de la manière la plus efficace possible. Vous pouvez diffuser en continu des milliards de messages qui sont compressés, chiffrés et transmis à Amazon Elasticsearch Service et Amazon Redshift. Une fois dans Amazon Elasticsearch Service et Amazon Redshift, vous pouvez regrouper, filtrer et traiter les données, et actualiser les tableaux de bord affichant les performances du contenu quasiment en temps réel. Par exemple, Hearst Corporation a créé une plate-forme d'analyse des parcours de navigation à l'aide d'Amazon Kinesis Streams, d'Amazon Kinesis Firehose, d'Amazon Redshift et d'Amazon Elasticsearch Service pour transmettre et traiter 30 téraoctets de données par jour depuis les 300 sites web internationaux de Hearst. Grâce à cette plate-forme, Hearst peut mettre l'ensemble du flux de données, des clics effectués sur les sites Web aux données agrégées, à la disposition des rédacteurs en quelques minutes. Lire l'étude de cas »

firehose-use-case-diagram-digital-marketing
BigData_logo-hearst

« Je ne sais pas comment notre pipeline de données de parcours de navigation aurait pu fonctionner sans Amazon Kinesis. Cela aurait nécessité plusieurs semaines d'ingénierie. Grâce à Kinesis Streams et Firehose, l'ensemble du processus est extrêmement simple et fiable. »

– Peter Jaffe, spécialiste des données, Hearst Corporation

440x220_APN-Blog

Dans cet article, nous vous expliquons d'abord comment configurer un domaine Amazon Elasticsearch Service. Nous vous indiquons ensuite comment créer un flux Firehose exploitant une fonction Lambda prédéfinie pour analyser les journaux Web Apache. Enfin, nous vous montrons comment charger des données avec Amazon Kinesis Agent pour les visualiser via Kibana.

Lire l'article complet »

Cet article de blog explique comment créer une architecture sans serveur en utilisant Amazon Kinesis Firehose, AWS Lambda, Amazon S3, Amazon Athena et Amazon QuickSight pour recueillir, stocker, interroger et visualiser les journaux de flux.

Lire l'article complet »

Amazon Kinesis Firehose est un service entièrement géré qui permet de fournir des données en streaming et en temps réel à des destinations comme Amazon S3, Amazon Redshift ou Amazon Elasticsearch Service (Amazon ES). Dans cet article, je présente les capacités de transformation de données de vos flux de diffusion, qui permettent de transformer facilement les données sources entrantes et de livrer les données transformées à vos destinations.

Lire l'article complet »

Dans cet article, j'explique comment créer une solution d'informatique décisionnelle pour la diffusion en streaming des données d'un appareil IoT en utilisant les services sans serveur et les services gérés AWS. Vous pouvez être opérationnel en quelques minutes en commençant petit, mais en étant en mesure de vous développer facilement sur des millions d'appareils et des milliards de messages.

Lire l'article complet »

L'agrégation des journaux est cruciale pour votre infrastructure opérationnelle. Une solution d'agrégation des journaux fiable, sécurisée et évolutive fait toute la différence lors d'une séance de débogage au moment crucial. Dans cet article, nous découvrirons une alternative à la solution d'agrégation des journaux la plus célèbre, l'ELK Stack (Elasticsearch, Logstash et Kibana) : l'EKK Stack (Amazon Elasticsearch Service, Amazon Kinesis et Kibana).

Lire l'article complet »

Pour obtenir la liste complète des articles de blog relatifs à Amazon Kinesis Firehose et à l'analyse en temps réel, consultez la page des articles de blog »

Pour plus d'informations sur les nouvelles fonctionnalités d'Amazon Kinesis Firehose, consultez la page des nouveautés »

Pour commencer à utiliser Amazon Kinesis Firehose, c'est très simple. Il vous suffit de vous connecter à notre console et de configurer votre premier flux de diffusion en quelques clics.

 

Démarrer