Publicado: Oct 14, 2021
A versão de lançamento do Amazon EMR 6.4 agora oferece suporte ao Apache Spark 3.1.2 e oferece melhorias em tempo de execução com o Amazon EMR Runtime para Apache Spark. O Amazon EMR 6.4 oferece melhorias em tempo de execução do Presto para o PrestoDB 0.254, e melhorias em tempo de execução para o Apache Hive 3.1.2 quando você usa o AWS Glue Data Catalog para seu metastore.
Amazon EMR 6.4 compatível com o Apache Hudi 0.8.0, Trino 359, PrestoDB 0.254, Apache HBase 2.4.4, Apache Phoenix 5.1.2, Apache Flink 1.13.1, Apache Livy 0.7.1, JupyterHub 1.4.1, Apache Zookeeper 3.5.7 e Apache MXNet 1.8.0. Consulte nosso guia de lançamento para saber mais.
A partir do lançamento do Amazon EMR versões 5.30 e 6.1 e posterior, você agora pode terminar automaticamente clusters ociosos do Amazon EMR. Isso ajuda você a reduzir custos sem o monitoramento da atividade de clusters. Para conhecer os conceitos básicos, leia nossa documentação aqui.
O Amazon EMR Studio agora oferece suporte a várias linguagens no mesmo caderno baseado em Jupyter para workloads do Spark. Consulte nossa documentação para saber mais. Agora você pode autenticar usuários do Amazon EMR Studio usando a autenticação baseada no IAM ou na federação do IAM, além do AWS Single Sign-On. Você pode saber mais aqui.
O Amazon EMR 6.4 inclui o Hudi 0.8.0, que permite que você use várias aplicações para gravar simultaneamente na mesma tabela Hudi. Você pode encontrar mais detalhes sobre os recursos do Hudi 0.8.0 aqui. Você agora pode informar as métricas do Hudi para o Amazon CloudWatch e definir as configurações do Hudi no nível de cluster usando a API de configurações do EMR e o recurso de reconfiguração.
O Amazon EMR 6.4 agora oferece suporte ao Spark SQL para atualizar e gravar tabelas de metadados do Apache Hive em clusters do Amazon EMR habilitados para Apache Ranger. Consulte nossa documentação para saber mais.
A partir do lançamento do Amazon EMR versaõ 5.7 e posterior, você agora pode criar clusters com várias imagens de máquina da Amazon (AMIs) personalizadas. Você pode incluir as instâncias AWS Graviton e não AWS Graviton no mesmo cluster. Para obter mais informações, leia nossa documentação. O Amazon EMR 6.4 geralmente está disponível em todas as regiões onde o Amazon EMR está disponível. Consulte Disponibilidade regional do Amazon EMR e nossas notas de release para obter mais detalhes.