Amazon EMR 7.12 agora oferece suporte ao formato de tabela do Apache Iceberg v3
O Amazon EMR 7.12 agora está disponível com o novo formato de tabela do Apache Iceberg v3 com o Apache Iceberg 1.10. Esse lançamento permite reduzir os custos ao excluir dados, fortalecer a governança e a conformidade por meio de um melhor rastreamento das alterações no nível da linha e aprimorar a segurança dos dados com um controle de acesso aos dados mais granular.
Com o Iceberg v3, você pode excluir dados de forma econômica porque o Iceberg v3 marca as linhas excluídas sem reescrever arquivos inteiros, acelerando seus pipelines de dados e reduzindo os custos de armazenamento. Você obtém melhores recursos de governança e conformidade por meio do rastreamento automático do histórico de criação e modificação de cada linha, criando as trilhas de auditoria necessárias para os requisitos regulatórios e a captura de dados de alteração. Você pode aprimorar a segurança dos dados com criptografia no nível da tabela, ajudando você a cumprir as normas de privacidade dos seus dados mais sensíveis.
Com o Apache Spark 3.5.6 incluído nessa versão, você pode aproveitar esses recursos do Iceberg 1.10 para criar arquiteturas robustas de data lakehouse no Amazon S3. Essa versão também inclui suporte para operações de governança de dados em suas tabelas do Iceberg usando o AWS Lake Formation. Além disso, essa versão também inclui o Apache Trino 476.
O Amazon EMR 7.12 está disponível em todas as regiões da AWS que oferecem suporte ao Amazon EMR. Para saber mais sobre a versão 7.12 do Amazon EMR, acesse a documentação da versão 7.12 do Amazon EMR.