Suporte do Amazon Data Firehose para entrega de dados em tabelas do Apache Iceberg está disponível em outras regiões da AWS
Agora, o suporte do Amazon Data Firehose para entrega de fluxos de dados em tabelas do Apache Iceberg no Amazon S3 está disponível em todas as regiões da AWS, exceto AWS China, AWS GovCloud e as regiões ap-southeast-5.
Com esse recurso, o Firehose se integra ao Apache Iceberg, para que os clientes possam entregar fluxos de dados diretamente nas tabelas do Apache Iceberg em data lakes do Amazon S3. O Firehose pode adquirir fluxos de dados do Kinesis Data Streams, Amazon MSK ou Direct PUT API, e também é integrado para adquirir fluxos dos serviços da AWS, como logs de ACL web do AWS WAF, Amazon CloudWatch Logs, logs de fluxo da Amazon VPC, AWS IOT, Amazon SNS, logs de acesso do AWS API Gateway e muitos outros listados aqui. Os clientes podem transmitir dados de qualquer uma dessas fontes diretamente para as tabelas do Apache Iceberg no Amazon S3 e evitar processos de várias etapas. O Firehose usa tecnologia sem servidor, portanto, os clientes podem simplesmente configurar um fluxo configurando as propriedades de origem e destino e pagar com base nos bytes processados.
O novo atributo também permite que os clientes roteiem registros em um fluxo de dados para diferentes tabelas do Apache Iceberg com base no conteúdo do registro recebido. Para rotear registros para tabelas diferentes, os clientes podem configurar regras de roteamento usando expressões JSON. Além disso, os clientes podem especificar se o registro de entrada deve aplicar uma operação de atualização ou exclusão em nível de linha na tabela de destino do Apache Iceberg e automatizar o processamento para correção de dados e cenários do direito de esquecer.
Para saber mais e começar a usar, acesse a documentação, os preços e o console do Amazon Data Firehose.