Publicado: Apr 9, 2020
Estamos entusiasmados em anunciar a versão 6.0.0 do Amazon EMR com suporte para novas versões principais do Hadoop, Hive, HBase, Amazon Linux 2 e suporte para o empacotamento de dependências do ambiente Spark com o Docker.
Agora, os usuários do Spark podem usar imagens do Docker do Docker Hub e do Amazon Elastic Container Registry (Amazon ECR) com o EMR versão 6.0.0 para definir dependências de ambiente e biblioteca. Usando o Docker, você pode facilmente empacotar suas dependências Python e R para trabalhos individuais, evitando a necessidade de instalar dependências em hosts individuais de cluster. Para obter mais detalhes sobre o uso do Docker com o EMR 6.0.0, consulte a seção do guia de gerenciamento do EMR sobre como configurar o Docker e nosso post de blog sobre como simplificar o gerenciamento de dependências do Spark com o Docker.
Os usuários do Hive agora podem usar o Hive Live Long and Process (LLAP) com o EMR versão 6.0.0, proporcionando uma aceleração de desempenho 2x maior em relação ao EMR 5.29, com melhoria de até 10x em consultas individuais do Hive TPC-DS*. O Hive LLAP é um novo modelo de execução no Hive que usa daemons persistentes com armazenamento em cache dinâmico na memória para acelerar a execução de consultas. Para obter detalhes sobre como habilitar o Hive LLAP, consulte nossa documentação sobre o uso do Hive LLAP e nosso post de blog para ver por que o Apache Hive é 2x mais rápido com o Hive LLAP no EMR 6.0.0.
O EMR versão 6.0.0 fornece novas versões principais do Apache Hadoop 3.2.1, Apache Hive 3.1.2, Apache HBase 2.2.3, Apache Phoenix 5.0.0 e o tempo de execução do EMR para Apache Spark 2.4.4 com suporte para Scala 2.12. O EMR versão 6.0.0 foi desenvolvido no Amazon Linux 2 e no Amazon Corretto JDK 8. O Amazon Linux 2 é a geração mais recente do sistema operacional do servidor do Amazon Linux e disponibiliza novas ferramentas de sistema, como o sistema systemd init, e o Amazon Linux LTS Kernel com performance ajustada. O Amazon Corretto JDK 8 disponibiliza um JDK compatível com o Java SE certificado, que inclui suporte de longo prazo, melhorias de performance e correções de segurança. Para obter mais detalhes sobre todos os aplicativos EMR atualizados na versão EMR 6.0.0, consulte nossas notas de versão.
O Amazon EMR versão 6.0.0 já está disponível em todas as regiões que trabalham com o Amazon EMR.
Para receber atualizações sobre as versões do EMR, assine o feed das notas de release do EMR. Use o ícone de RSS na parte superior do Guia de versões do EMR para vincular o URL do feed diretamente ao seu leitor de feeds favorito.
*Baseado no teste comparativo TPC-DS de 3 TB, comparando o EMR 5.29.0 com o EMR 6.0.0.