Passer au contenu principal

Amazon Data Firehose

Charger de manière fiable des flux en temps réel dans des lacs de données, des entrepôts de données et des services analytiques

Démarrer avec Firehose
Demande d’informations supplémentaires

Avantages

Capturer, transformer et charger facilement des données de streaming. Créer un flux de diffusion, sélectionner la destination et commencer à diffuser des données en temps réel en quelques clics.

Provisionner et mettre à l'échelle automatiquement les ressources de calcul, de mémoire et de réseau sans administration permanente.

Transformer les données de streaming non traitées dans des formats tels que Apache Parquet et partitionner dynamiquement les données de streaming sans besoin de créer vos propres pipelines de traitement.

Comment ça marche

Amazon Data Firehose constitue le moyen le plus simple d’acquérir, de transformer et de diffuser des flux de données en quelques secondes vers des lacs de données, des entrepôts de données et des services d’analytique. Pour utiliser Amazon Data Firehose, vous devez configurer un flux avec une source, une destination et les transformations requises. Amazon Data Firehose traite le flux en continu, le met à l’échelle automatiquement en fonction de la quantité de données disponibles et le diffuse en quelques secondes.

Sélectionner la source de votre flux de données, par exemple une rubrique dans Amazon Managed Streaming for Kafka (MSK), un flux dans Kinesis Data Streams, ou écrire des données à l’aide de l’API Firehose Direct PUT. Amazon Data Firehose est intégré à plus de 20 services AWS. Vous pouvez donc configurer un flux à partir de sources telles que les bases de données (version préliminaire), Amazon CloudWatch Logs, les journaux d’ACL Web AWS WAF, les journaux d’AWS Network Firewall, Amazon SNS ou AWS IoT.

Indiquer si vous souhaitez convertir votre flux de données dans des formats tels que Parquet ou ORC, décompresser les données, effectuer des transformations de données personnalisées à l’aide de votre propre fonction AWS Lambda ou partitionner dynamiquement les enregistrements d’entrée en fonction d’attributs à diffuser à différents emplacements.

Sélectionner une destination pour votre flux, telle qu’Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake, les tables Apache Iceberg, les tableaux Amazon S3(version préliminaire) ou un point de terminaison HTTP personnalisé.

Pour plus d’informations sur Amazon Data Firehose, consulter la documentation d’Amazon Data Firehose.

Cas d'utilisation

Diffuser des données dans Amazon S3 et convertir des données dans des formats requis à des fins d'analyse sans avoir à créer des pipelines de traitement.

Contrôler la sécurité du réseau en temps réel et créer des alertes lorsque surviennent des menaces potentielles à l'aide des outils pris en charge de gestion des informations et des événements de sécurité (SIEM).

Enrichissez vos flux de données avec les modèles de machine learning (ML) pour analyser les données et prédire les points de terminaison d'inférence à mesure que les flux se dirigent vers leur destination.