Publicado: Oct 31, 2022
Agora, o Amazon EMR versão 6.8 oferece suporte ao Apache Hudi 0.11.1 e Apache Iceberg 0.14.0. Você pode usar essas estruturas no Amazon EMR no EC2, no Amazon EMR no EKS e no Amazon EMR Sem Servidor.
O Apache Hudi 0.11.1 no Amazon EMR 6.8 inclui suporte ao Spark 3.3.0, adiciona suporte a índices multimodais e skipping de dados com tabela de metadados para permitir a adição de índices de filtro bloom e estatísticas de coluna, o que pode melhorar significativamente a performance das consultas; adiciona um serviço Async Indexer que permite que os usuários criem tipos diferentes de índices (por exemplo, arquivos, filtros bloom e estatísticas de coluna) na tabela de metadados sem bloquear a ingestão; inclui melhorias do Spark SQL, adicionando suporte à atualização ou exclusão de registros em tabelas do Hudi usando campos que não estão na chave primária e consultas de viagem no tempo por meio do carimbo de data e hora conforme a sintaxe; inclui melhorias na integração com o Flink, com suporte para Flink 1.13.x, 1.14.x e tipos de dados complexos, como Map e Array etc. Além disso, o Hudi 0.11.1 correções de erros do Hudi 0.11.0 disponível no Amazon EMR versão 6.7. Para obter mais detalhes, consulte a documentação de versão do OSS Hudi.
O Apache Iceberg 0.14.0 no Amazon EMR 6.8 inclui suporte ao Spark 3.3.0; adiciona suporte a Merge-on-read para instruções MERGE e UPDATE; adiciona suporte à regravação de partições usando Z-order para permitir reorganização de partições com eficiência, com predicados de consulta em vários colunas, além de manter dados semelhantes juntos; inclui várias melhorias de performance para planejamento de varredura em consultas do Spark; adiciona suporte a skipping de grupo de linhas usando filtros bloom do Parquet etc. Para obter mais detalhes, consulte a documentação de versão do OSS Iceberg.
O Amazon EMR versão 6.8 está disponível em todas as regiões em que o Amazon EMR é oferecido. Consulte a disponibilidade regional do Amazon EMR e nossas notas de versão para obter mais detalhes.