As tabelas do Amazon S3 agora oferecem suporte ao tipo de dados Variant para o Apache Iceberg V3
Agora, as tabelas do Amazon S3 oferecem suporte ao tipo de dados Variant, conforme definido na especificação Apache Iceberg versão 3 (V3). Agora você pode gravar dados semiestruturados, como JSON, diretamente nas tabelas do S3 sem definir um esquema fixo com antecedência, permitindo que você forneça dados mais rapidamente e, ao mesmo tempo, obtenha um desempenho eficiente de consultas analíticas.
Com o tipo de dados Variant, os mecanismos compatíveis com o Apache Iceberg V3 fragmentam seus dados semiestruturados em colunas ocultas enquanto você os escreve, gerando estatísticas de coluna Parquet que os mecanismos de consulta usam para otimizações como a remoção de arquivos, o que reduz os dados que suas consultas analíticas examinam. As tabelas do S3 também fornecem manutenção contínua da tabela, incluindo compactação, para colunas Variant, para que você possa consolidar dados de arquivos pequenos em arquivos grandes que os mecanismos Iceberg possam ler.
O suporte do Variant às Tabelas do S3 está disponível nas seguintes regiões da AWS: Ásia-Pacífico (Mumbai), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Paris), Europa (Estocolmo), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia) e Oeste dos EUA (Oregon).
Para saber mais, consulte as Tabelas Amazon S3 e a orientação prescritiva da AWS para trabalhar com a especificação de formato de tabela Iceberg versão 3.