Os corretores do Amazon MSK Express agora entregam dados em tabelas de streaming para o Apache Iceberg
Os corretores do Amazon MSK Express agora entregam dados em tabelas de streaming para o Apache Iceberg, um novo recurso que materializa continuamente os tópicos do Apache Kafka como tabelas do Apache Iceberg nas tabelas do Amazon S3. A entrega de dados do Amazon MSK para tabelas de streaming pode reduzir o custo de ingestão e entrega de dados do Apache Kafka nas tabelas do Amazon S3 em até 60% em comparação às implantações autogerenciadas e reduz os custos de consulta downstream em até 30% em relação às implantações autogerenciadas do Apache Kafka.
Os clientes confiam no Apache Kafka para ingerir dados em tempo real para casos de uso, como detecção de fraudes e personalização, e querem cada vez mais unificar esses dados com as tabelas do Apache Iceberg para análises quase em tempo real, mas a integração dos dois os força a operar canais personalizados complexos, gerenciar conversões de formato e lidar com o problema de arquivos pequenos, em que a ingestão de alto volume cria muitos arquivos pequenos que reduzem a velocidade das consultas posteriores e aumentam os custos. Com esse recurso, a compactação inteligente em linha elimina o impacto no desempenho de arquivos pequenos e mantém o desempenho da consulta previsível sem sacrificar a atualização dos dados, enquanto a coordenação integrada resolve conflitos simultâneos de gravação entre consumidores de alto rendimento. O Amazon MSK suporta uma taxa de transferência de até 10 Gb/s para entrega ao Apache Iceberg nas tabelas do Amazon S3 e, como esse recurso nativo não adiciona nenhuma taxa de transferência de saída do corretor, os clientes evitam os custos incrementais de infraestrutura de escalar pipelines de conectores e combinam a capacidade com a demanda real, em vez de atingir o pico. Os clientes entregam dados para tabelas de streaming e consultam ou transformam os dados com qualquer mecanismo de sua escolha, incluindo Apache Spark, Trino ou Apache Flink.
Para começar, a usar os clientes abrem o console do Amazon MSK, selecionam o cluster Express e habilitam o recurso com alguns cliques, ou usam as APIs MSK ou o servidor MCP. A entrega de dados do Amazon MSK para tabelas de streaming está disponível hoje em todas as regiões da AWS em que os corretores Amazon MSK Express são oferecidos. Para obter informações sobre os preços, acesse a página de preços. Para saber mais, visite o Guia do desenvolvedor do Amazon MSK e as habilidades de IA do Amazon MSK.