Publicado: Aug 27, 2019
Com o EMR versão 5.26.0, os usuários do Spark se beneficiam de todas as novas otimizações de performance do Spark introduzidas no EMR versões 5.24.0 e 5.25.0 sem a necessidade de fazer mudanças de código nem de configuração. As seguintes otimizações são habilitadas como padrão na versão 5.26.0:
- Dynamic Partition Pruning — Permite que o mecanismo do Spark infira partições relevantes durante o tempo de execução, economizando tempo e recursos de computação, tanto ao ler menos dados de armazenamento quanto ao reduzir o número de registros que precisam ser processados.
- DISTINCT before INTERSECT — Elimina valores duplicados em cada coleção de entrada antes da computação da interseção, melhorando a performance ao reduzir a quantidade de dados desordenados entre hosts.
- Flattening Scalar Subqueries — Ajuda nas situações em que várias condições diferentes precisam ser aplicadas a linhas de uma tabela específica, evitando que a tabela seja lida diversas vezes para cada condição.
- Optimized join reorder — Reordena de modo dinâmico as associações para executar primeiro as associações menores com filtros, reduzindo o processamento exigido para as associações maiores subsequentes.
- Bloom Filter Join — Filtra associações de tabela de modo dinâmico para incluir apenas as linhas relevantes, reduzindo a quantidade de dados processados pelo Spark e melhorando a performance do tempo de execução de consultas.
Acesse a documentação Optimizing Spark Performance e as notas de release do EMR 5.26.0 para obter detalhes sobre essas otimizações.
O EMR versão 5.26.0 também inclui uma integração beta com o AWS Lake Formation e as novas versões do Apache HBase 1.4.10 e do Apache Phoenix 4.14.2. Consulte Integrating Amazon EMR with AWS Lake Formation (Beta) para obter mais detalhes sobre a integração.
O Amazon EMR versão 5.26.0 já está disponível em todas as regiões que trabalham com o Amazon EMR.
A integração entre o AWS Lake Formation e o Amazon EMR está na versão beta e é disponibilizada nas regiões Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon).
Para receber atualizações sobre as versões do EMR, assine o feed das notas de release do EMR. Use o ícone de RSS na parte superior do Guia de versões do EMR para vincular o URL do feed diretamente ao seu leitor de feeds favorito.