Amazon Data Firehose diffuse des flux de données dans les tables Apache Iceberg d’Amazon S3
Amazon Data Firehose (Firehose) peut désormais diffuser des flux de données dans les tables Apache Iceberg d'Amazon S3.
Firehose permet aux clients d’acquérir, de transformer et de diffuser des flux de données vers Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake et d’autres destinations à des fins d’analyse. Grâce à cette nouvelle fonctionnalité, Firehose s'intègre à Apache Iceberg, afin que les clients puissent diffuser des flux de données directement dans les tables Apache Iceberg de leur lac de données Amazon S3. Firehose peut acquérir des flux de données à partir de Kinesis Data Streams, d'Amazon MSK ou de l'API Direct PUT, et est également intégré pour acquérir des flux à partir de services AWS tels que les journaux d'ACL Web AWS WAF, Amazon CloudWatch Logs, les journaux de flux Amazon VPC, AWS IoT, Amazon SNS, les journaux d'accès à AWS API Gateway et bien d'autres répertoriés ici. Les clients peuvent diffuser des données provenant de n'importe laquelle de ces sources directement dans les tables Apache Iceberg d'Amazon S3, et éviter les processus en plusieurs étapes. Firehose fonctionne sans serveur. Les clients peuvent donc simplement configurer un flux en configurant les propriétés de source et de destination, et payer en fonction des octets traités.
Cette nouvelle fonctionnalité permet également aux clients d'acheminer les enregistrements d'un flux de données vers différentes tables Apache Iceberg en fonction du contenu de l'enregistrement entrant. Pour acheminer les enregistrements vers différentes tables, les clients peuvent configurer des règles de routage à l'aide d'expressions JSON. En outre, les clients peuvent spécifier si l'enregistrement entrant doit appliquer une opération de mise à jour ou de suppression au niveau des lignes dans la table Apache Iceberg de destination, et automatiser le traitement pour les scénarios de correction des données et de droit à l'oubli.
Pour commencer, consultez la documentation, les tarifs et la console Amazon Data Firehose.