Amazon Data Firehose доставляет потоки данных в таблицы формата Apache Iceberg в Amazon S3
Amazon Data Firehose (Firehose) теперь может доставлять потоки данных в таблицы Apache Iceberg в Amazon S3.
Сервис Firehose позволяет клиентам получать, преобразовывать и доставлять потоки данных в Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake и другие места назначения для аналитики. Данная новая функция обеспечивает интеграцию Firehose с Apache Iceberg, и клиенты могут доставлять потоки данных непосредственно в таблицы Apache Iceberg в своем озере данных Amazon S3. Сервис Firehose может получать потоки из Потоков данных Kinesis, Amazon MSK или API-интерфейса Direct PUT, а также интегрирован для получения потоков с сервисами AWS, такими как журналы веб-списков ACL в AWS WAF, журналы Amazon CloudWatch, журналы Amazon VPC Flow, AWS IoT, Amazon SNS, журналы доступа API-шлюза AWS и многие другие, перечисленные здесь. Клиенты могут осуществлять потоковую передачу данных из любого из этих источников напрямую в таблицы Apache Iceberg в Amazon S3, не прибегая к многоэтапным процессам. Сервис Firehose является бессерверным, поэтому клиенты могут просто настроить поток, указав свойства источника и места назначения, и осуществлять оплату в зависимости от обработанного объема данных в байтах.
Новая функция также позволяет клиентам маршрутизировать записи из потока данных в разные таблицы Apache Iceberg в зависимости от содержимого входящей записи. Клиенты могут настроить правила для маршрутизации записей в разные таблицы с помощью выражений JSON. Кроме того, клиенты могут указать, следует ли выполнять для входящей записи операцию обновления или удаления на уровне строк в целевой таблице Apache Iceberg, а также автоматизировать обработку для исправления данных и сценариев с правом на забвение.
Для начала ознакомьтесь с документацией, ценами и консолью Amazon Data Firehose.