Amazon Data Firehose, veri akışlarını Amazon S3'te Apache Iceberg biçimindeki tablolara iletiyor
Amazon Data Firehose (Firehose) artık Amazon S3'teki Apache Iceberg tablolarına veri akışlarını iletebilir.
Firehose, müşterilerin veri akışlarını güvenilir bir şekilde yakalamasına, dönüştürmesine ve analiz için Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake ve diğer hedeflere sunmasına olanak tanır. Bu yeni özellik sayesinde Firehose, Apache Iceberg ile entegre olur. Böylece müşteriler, veri akışlarını Amazon S3 veri göllerindeki Apache Iceberg tablolarına doğrudan iletebilir. Firehose, Kinesis Veri Akışları, Amazon MSK veya Direct PUT API'den veri akışlarını alabilir ve AWS WAF web ACL günlükleri, Amazon CloudWatch Günlükleri, Amazon VPC Akış Günlükleri, AWS IOT, Amazon SNS, AWS API Ağ Geçidi Erişim günlükleri ve buradakileri kapsayan diğer AWS Hizmetlerinden akışları almak için entegre edilmiştir. Müşteriler bu kaynaklardan herhangi birindeki verileri doğrudan Amazon S3'teki Apache Iceberg tablolarına aktarabilir ve çok adımlı işlemlerden kaçınabilir. Firehose sunucusuzdur. Böylece müşteriler kaynak ve hedef özelliklerini yapılandırarak akış ayarlayabilir ve işlenen bayt miktarına göre ödeme yapabilir.
Yeni özellik ayrıca müşterilerin bir veri akışındaki kayıtları gelen kaydın içeriğine göre farklı Apache Iceberg tablolarına yönlendirmesine olanak tanır. Kayıtları farklı tablolara yönlendirmek için müşteriler JSON ifadelerini kullanarak yönlendirme kurallarını yapılandırabilir. Ek olarak, müşteriler gelen kaydın hedef Apache Iceberg tablosunda satır düzeyinde güncelleme veya silme işlemi uygulayıp uygulamayacağını belirleyip veri düzeltme ve unutma hakkı senaryoları için işlemeyi otomatikleştirebilir.
Başlamak için Amazon Data Firehose belgelerini, fiyatlandırmasını ve konsolunu ziyaret edin.