As tabelas do Amazon S3 agora oferecem um caminho simples e econômico para a modernização do data lake
Agora, as tabelas do Amazon S3 oferecem migração gerenciada de suas tabelas do Apache Hive para o Apache Iceberg. O Iceberg adiciona transações ACID, evolução de esquemas e viagens no tempo ao seu data lake, mas sair do Hive geralmente significa criar um pipeline de migração para cada tabela, o que pode levar semanas. Agora você pode permitir que as Tabelas do S3 gerenciem sua migração, resultando em tabelas Iceberg prontas para consulta que permanecem otimizadas à medida que os dados crescem.
As tabelas do S3 validam, convertem e copiam seus dados enquanto as workloads de trabalho de produção continuam em execução. Para reduzir o risco de migração, você pode revisar cada etapa, sincronizar tabelas de destino com alterações na origem sempre que precisar ou reverter para seus dados de origem. Você paga somente pelos dados que o trabalho copia, sem cobrança pela conversão de Hive-to-Iceberg, e os objetos de origem no S3 Intelligent-Tiering permanecem em seu nível de acesso atual. Se suas tabelas usarem compactação Snappy, as Tabelas do S3 recomprimem para Zstandard (ZSTD) e as compacta, o que reduz o armazenamento e a contagem de objetos e melhora o desempenho da consulta.
Para começar a usá-las, visite o Console de Gerenciamento da AWS ou use as APIs de migração de tabelas do Amazon S3. Uma habilidade de migração também está disponível no Kit de Ferramentas do Agente para a AWS para ajudar agentes de IA a orquestrar o fluxo de trabalho de forma autônoma. No lançamento, a migração gerenciada dos Tabelas do S3 oferece suporte a tabelas Hive registradas no AWS Glue armazenadas no formato Parquet na mesma conta da AWS e região da AWS. Ela está disponível nas seguintes regiões da AWS: Leste dos EUA (N. Virgínia, Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Mumbai, Singapura, Sydney, Tóquio), Europa (Frankfurt, Irlanda, Estocolmo). Para obter informações sobre preços, consulte os preços do Amazon S3. Para saber mais, consulte a página de visão geral das tabelas do Amazon S3, a documentação e o blog de notícias da AWS.