Amazon Data Firehose entrega fluxos de dados em tabelas no formato Apache Iceberg no Amazon S3
O Amazon Data Firehose (Firehose) agora pode entregar fluxos de dados em tabelas do Apache Iceberg no Amazon S3.
O Firehose permite que os clientes adquiram, transformem e entreguem fluxos de dados de forma confiável no Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake e outros destinos para analytics. Com esse novo atributo, o Firehose se integra ao Apache Iceberg, para que os clientes possam entregar fluxos de dados diretamente nas tabelas do Apache Iceberg no seu data lake do Amazon S3. O Firehose pode adquirir fluxos de dados do Kinesis Data Streams, Amazon MSK ou Direct PUT API, e também é integrado para adquirir fluxos dos serviços da AWS, como logs de ACL web do AWS WAF, Amazon CloudWatch Logs, logs de fluxo da Amazon VPC, AWS IOT, Amazon SNS, logs de acesso do AWS API Gateway e muitos outros listados aqui. Os clientes podem transmitir dados de qualquer uma dessas fontes diretamente para as tabelas do Apache Iceberg no Amazon S3 e evitar processos de várias etapas. O Firehose usa tecnologia sem servidor, portanto, os clientes podem simplesmente configurar um fluxo configurando as propriedades de origem e destino e pagar com base nos bytes processados.
O novo atributo também permite que os clientes roteiem registros em um fluxo de dados para diferentes tabelas do Apache Iceberg com base no conteúdo do registro recebido. Para rotear registros para tabelas diferentes, os clientes podem configurar regras de roteamento usando expressões JSON. Além disso, os clientes podem especificar se o registro de entrada deve aplicar uma operação de atualização ou exclusão em nível de linha na tabela de destino do Apache Iceberg e automatizar o processamento para correção de dados e cenários do direito de esquecer.
Para começar a usá-lo, acesse a documentação, os preços e o console do Amazon Data Firehose.