Amazon Data Firehose fornisce flussi di dati in tabelle in formato Apache Iceberg in Amazon S3
Amazon Data Firehose(Firehose) è ora in grado di distribuire flussi di dati nelle tabelle Apache Iceberg in Amazon S3.
Firehose consente ai clienti di acquisire, trasformare e distribuire flussi di dati in Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake e altre destinazioni per l'analisi. Con questa nuova funzionalità, Firehose si integra con Apache Iceberg, in modo che i clienti possano fornire flussi di dati direttamente nelle tabelle Apache Iceberg nel loro data lake Amazon S3. Firehose può acquisire flussi di dati da Kinesis Data Streams, Amazon MSK o Direct PUT API ed è inoltre integrato per acquisire flussi da servizi AWS come i log ACL web AWS WAF, Amazon CloudWatch Logs, Amazon VPC Flow Logs, AWS IoT, Amazon SNS, i log AWS API Gateway Access e molti altri elencati qui. I clienti possono trasmettere dati da una qualsiasi di queste fonti direttamente nelle tabelle Apache Iceberg in Amazon S3 ed evitare processi in più fasi. Firehose è serverless, quindi i clienti possono semplicemente configurare uno stream configurando le proprietà di origine e destinazione e pagare in base ai byte elaborati.
La nuova funzionalità consente inoltre ai clienti di indirizzare i record in un flusso di dati a diverse tabelle Apache Iceberg in base al contenuto del record in ingresso. Per indirizzare i record a tabelle diverse, i clienti possono configurare le regole di routing utilizzando espressioni JSON. Inoltre, i clienti possono specificare se il record in ingresso deve applicare un'operazione di aggiornamento o eliminazione a livello di riga nella tabella Apache Iceberg di destinazione e automatizzare l'elaborazione per gli scenari di correzione dei dati e diritto all'oblio.
Per iniziare, consulta la documentazione, i prezzi e la console di Amazon Data Firehose.