O Amazon Kinesis Data Streams anuncia tabelas de streaming, entregando dados às tabelas do Apache Iceberg nas tabelas do Amazon S3
O Amazon Kinesis Data Streams apresenta tabelas de streaming, um novo recurso totalmente sem servidor que entrega continuamente dados de streams do Kinesis para tabelas do Amazon S3 no formato Apache Iceberg. As tabelas de streaming eliminam a necessidade de criar e operar pipelines de entrega autogerenciados do Iceberg, reduzindo os custos de entrega de dados em até 50%. A compactação inteligente em linha elimina o problema de arquivos pequenos e mantém o desempenho da consulta previsível, reduzindo os custos de consultas posteriores em até 30%.
O Amazon Kinesis Data Streams é um serviço sem servidor que torna fácil a captura, o processamento e o armazenamento de transmissões de dados em qualquer escala. Cada vez mais, os clientes desejam fornecer dados de streaming às tabelas do Apache Iceberg para potencializar análises quase em tempo real e pipelines de recursos de IA/ML usando os dados mais recentes. Para fazer isso hoje, os clientes criam e gerenciam pipelines personalizados, gerenciam conversões de formato e gerenciam a infraestrutura de computação, aumentando seus custos. A ingestão de streaming em alto volume também cria muitos arquivos Parquet pequenos que degradam o desempenho da consulta downstream e aumentam os custos de armazenamento. Com as tabelas de streaming, os clientes simplesmente criam uma tabela de streaming, um recurso totalmente sem servidor que entrega continuamente dados de um stream do Kinesis para as tabelas do Amazon S3. A compactação inteligente em linha elimina o impacto no desempenho de arquivos pequenos e mantém o desempenho da consulta previsível sem sacrificar a atualização dos dados. O Kinesis Data Streams gerencia automaticamente a escalabilidade, as novas tentativas, a compactação e a confiabilidade da entrega, e entrega em minutos, sem aplicativos personalizados, sem computação autogerenciada e sem despesas operacionais. Os clientes configuram tabelas de streaming com alguns cliques no console como uma experiência integrada ou por meio de APIs.
As tabelas de streaming oferecem suporte aos modos de capacidade On Demand Advantage (ODA) e On Demand Standard (ODS) com preços baseados no uso, sem taxas de configuração ou compromissos mínimos. Você só é cobrado pelos dados entregues com sucesso. As tabelas de streaming estão disponíveis em todas as regiões da AWS em que o Kinesis Data Streams está disponível, incluindo as regiões da AWS GovCloud (EUA) e China. Para começar a usar, consulte o Guia do usuário do Amazon Kinesis Data Streams e a página de preços.