Amazon Data Firehose
Chargez de manière fiable des flux en temps réel dans des lacs de données, des entrepôts de données et des services analytiques
Capturez, transformez et chargez facilement des données de streaming. Créez un flux de diffusion, sélectionnez la destination et commencez à diffuser des données en temps réel en quelques clics.
Allouez et mettez à l'échelle automatiquement les ressources de calcul, de mémoire et de réseau sans administration permanente.
Transformez les données de streaming non traitées dans des formats tels que Apache Parquet et partitionnez dynamiquement les données de streaming sans besoin de créer vos propres pipelines de traitement.
Connectez-vous à plus de 30 services AWS entièrement intégrés et à des destinations de streaming telles que Amazon Simple Storage Service (S3) et Amazon Redshift.
Fonctionnement
Amazon Data Firehose constitue le moyen le plus simple d’acquérir, de transformer et de diffuser des flux de données en quelques secondes vers des lacs de données, des entrepôts de données et des services d’analytique. Pour utiliser Amazon Data Firehose, vous devez configurer un flux avec une source, une destination et les transformations requises. Amazon Data Firehose traite le flux en continu, le met à l’échelle automatiquement en fonction de la quantité de données disponibles et le diffuse en quelques secondes.
Source
Sélectionnez la source de votre flux de données, par exemple une rubrique dans Amazon Managed Streaming for Kafka (MSK), un flux dans Kinesis Data Streams, ou écrivez des données à l’aide de l’API Firehose Direct PUT. Amazon Data Firehose est intégré à plus de 20 services AWS. Vous pouvez donc configurer un flux à partir de sources telles qu’Amazon CloudWatch Logs, les journaux d’ACL Web AWS WAF, les journaux d’AWS Network Firewall, Amazon SNS ou AWS IoT.
Transformation des données (facultatif)
Indiquez si vous souhaitez convertir votre flux de données dans des formats tels que Parquet ou ORC, décompresser les données, effectuer des transformations de données personnalisées à l’aide de votre propre fonction AWS Lambda ou partitionner dynamiquement les enregistrements d’entrée en fonction d’attributs à diffuser à différents emplacements.
Destination
Sélectionnez une destination pour votre flux, telle qu’Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake ou un point de terminaison HTTP personnalisé.
Pour plus d’informations sur Amazon Data Firehose, consultez la documentation d’Amazon Data Firehose.
Cas d'utilisation
Diffuser dans des lacs et des entrepôts de données
Diffusez des données dans Amazon S3 et convertissez des données dans des formats requis à des fins d'analyse sans avoir à créer des pipelines de traitement.
Renforcer la sécurité
Contrôlez la sécurité du réseau en temps réel et créez des alertes lorsque surviennent des menaces potentielles à l'aide des outils pris en charge de gestion des informations et des événements de sécurité (SIEM).
Créer des applications de streaming ML
Enrichissez vos flux de données avec les modèles de machine learning (ML) pour analyser les données et prédire les points de terminaison d'inférence à mesure que les flux se dirigent vers leur destination.
Clients
Comment démarrer
Consulter le guide du développeur
Apprenez-en plus sur la tarification d’Amazon Data Firehose.
Contactez un expert
Obtenez un support pour votre preuve de concept ou votre évaluation.
Consulter la tarification
Découvrez la tarification pour les quatre types d'utilisation à la demande.