Publicado: Jun 7, 2022
O Amazon EMR versão 6.6 agora é compatível com Apache Spark 3.2, Apache Spark RAPIDS 22.02, CUDA 11, Apache Hudi 0.10.1, Apache Iceberg 0.13, Trino 0.367 e PrestoDB 0.267. Você pode usar a versão otimizada para performance do Apache Spark 3.2 no EMR no EC2, EKS e o EMR Serverlessrecém-lançado. Além disso, o Apache Hudi 0.10.1 e o Apache Iceberg 0.13 estão disponíveis no EC2, EKS e Serverless. O Apache Hive 3.1.2 está disponível no EMR no EC2 e no EMR Serverless. O Trino 0.367 e o PrestoDB 0.267 apenas estão disponíveis no EMR no EC2.
Cada versão de lançamento do Amazon EMR usa uma imagem de máquina da Amazon (AMI) padrão Amazon Linux 2 (AL2) para o Amazon EMR. Antes do Amazon EMR 6.6, a AMI padrão era baseada na AMI Amazon Linux mais recente e atualizada disponível no momento do lançamento do Amazon EMR. Portanto, a versão de lançamento do Amazon EMR era “bloqueada” para sua respectiva AMI AL2 atribuída. Isso significa que todas as novas atualizações da AL2 não eram atualizadas automaticamente, a menos que você tivesse migrado para a próxima versão do Amazon EMR ou as instalasse manualmente. Com o Amazon EMR 6.6 e versões subsequentes, todas as vezes que você executar um EMR em um cluster do EC2, o Amazon EMR usará automaticamente a versão mais recente da AL2. Veja nossa documentação para saber mais.
Com o Amazon EMR versão 6.6 e posterior, as aplicações que usam Log4j 1.x e Log4j 2.x serão atualizadas para usar Log4j 1.2.17 (ou superior) e Log4j 2.17.1 (ou superior), respectivamente, e não exigirão o uso das ações de bootstrap fornecidas acima para mitigar os problemas de CVE.
Além disso, com o Amazon EMR versão 6.6, o tempo de inicialização do cluster no EMR no EC2 melhorou em 80 segundos em média para clusters que usam a opção de AMI padrão do Amazon EMR e instalam aplicações comuns, como o Apache Hadoop, o Apache Spark e o Apache Hive.
O Amazon EMR versão 6.6 está geralmente disponível em todas as regiões em que o Amazon EMR está disponível. Consulte Disponibilidade regional do Amazon EMR e nossas notas de versão para obter mais detalhes.