La compatibilidad de Amazon Data Firehose para entregar datos en tablas de Apache Iceberg está disponible en otras regiones de AWS
La compatibilidad de Amazon Data Firehose para entregar flujos de datos en tablas de Apache Iceberg en Amazon S3 ya está disponible en todas las regiones de AWS, excepto en las regiones de AWS China, AWS GovCloud y ap-southeast-5.
Con esta característica, Firehose se integra con Apache Iceberg, de modo que los clientes pueden entregar flujos de datos directamente a las tablas de Apache Iceberg de su lago de datos de Amazon S3. Firehose puede adquirir secuencias de datos de la API Kinesis Data Streams, Amazon MSK o Direct PUT, y también se integra para adquirir flujos de los servicios de AWS, como los registros de ACL web de AWS WAF, los registros de Amazon CloudWatch, los registros de flujo de Amazon VPC, AWS IOT, Amazon SNS, los registros de acceso a AWS API Gateway y muchos otros que se enumeran aquí. Los clientes pueden transmitir datos de cualquiera de estas fuentes directamente a tablas de Apache Iceberg en Amazon S3 y evitar procesos de varios pasos. Firehose no tiene servidores, por lo que los clientes pueden simplemente configurar un flujo mediante todas las configuraciones de las propiedades de origen y destino, y pagar en función de los bytes procesados.
La nueva característica también permite a los clientes enrutar los registros de un flujo de datos a diferentes tablas de Apache Iceberg en función del contenido del registro entrante. Para enrutar los registros a diferentes tablas, los clientes pueden configurar las reglas de enrutamiento mediante expresiones JSON. Además, los clientes pueden especificar si el registro entrante debe aplicar una operación de actualización o eliminación a nivel de fila en la tabla Apache Iceberg de destino y automatizar el procesamiento para la corrección de datos y los escenarios de derecho al olvido.
Para obtener más información y comenzar, consulte la documentación, los precios y la consola de Amazon Data Firehose.