Amazon Data Firehose ofrece flujos de datos en tablas con formato Apache Iceberg en Amazon S3
Amazon Data Firehose (Firehose) ahora puede entregar flujos de datos en tablas de Apache Iceberg en Amazon S3.
Firehose permite a los clientes adquirir, transformar y entregar de manera confiable secuencias de datos a Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake y otros destinos para el análisis. Con esta nueva característica, Firehose se integra con Apache Iceberg, de modo que los clientes pueden entregar secuencias de datos directamente a las tablas de Apache Iceberg de su lago de datos de Amazon S3. Firehose puede adquirir secuencias de datos de la API Kinesis Data Streams, Amazon MSK o Direct PUT, y también se integra para adquirir secuencias de los servicios de AWS, como los registros de ACL web de AWS WAF, los registros de Amazon CloudWatch, los registros de flujo de Amazon VPC, AWS IOT, Amazon SNS, los registros de acceso a AWS API Gateway y muchos otros que se enumeran aquí. Los clientes pueden transmitir datos de cualquiera de estas fuentes directamente a tablas de Apache Iceberg en Amazon S3 y evitar procesos de varios pasos. Firehose no tiene servidores, por lo que los clientes pueden simplemente configurar una transmisión configurando las propiedades de origen y destino, y pagar en función de los bytes procesados.
La nueva característica también permite a los clientes enrutar los registros de una secuencia de datos a diferentes tablas de Apache Iceberg en función del contenido del registro entrante. Para enrutar los registros a diferentes tablas, los clientes pueden configurar las reglas de enrutamiento mediante expresiones JSON. Además, los clientes pueden especificar si el registro entrante debe aplicar una operación de actualización o eliminación a nivel de fila en la tabla Apache Iceberg de destino y automatizar el procesamiento para la corrección de datos y los escenarios de derecho al olvido.
Para comenzar, consulte la documentación, los precios y la consola de Amazon Data Firehose.