O Amazon EMR apresenta suporte de longo prazo com o Apache Spark 4.1
O Amazon EMR apresenta versões de suporte de longo prazo (LTS), começando com o emr-spark-8.1.0 e o Apache Spark 4.1. Com o LTS, as versões designadas do runtime da AWS para o Apache Spark recebem 36 meses de suporte. O Amazon EMR fornece versões LTS com correções para problemas críticos e de alta gravidade de segurança, bugs e corrupção de dados, sujeitos à disponibilidade. O LTS ajuda você a executar workloads de produção do Spark em uma versão por mais tempo e fazer o upgrade de acordo com sua própria programação, sem custo adicional.
Esta versão adiciona suporte total ao Apache Iceberg v3, trazendo novos recursos geoespaciais, de timestamp de alta precisão e evolução de esquemas para suas tabelas. As consultas do Spark SQL podem referenciar catálogos por nome, incluindo catálogos entre contas e de tabelas do Amazon S3, e detectar automaticamente os formatos de tabela Apache Iceberg, Delta Lake e Apache Hudi, sem registrar cada catálogo na sua configuração do Spark. O controle de acesso refinado agora abrange mais operações do Apache Iceberg e a operação Delta Lake VACUUM, para que você possa aplicar permissões em nível de coluna e linha a um conjunto mais amplo de tarefas. O Amazon EMR em clusters do EKS agora oferece suporte a endpoints Spark Connect com autenticação baseada em tokens.
O emr-spark-8.1.0 está disponível em todas as regiões da AWS em que o Amazon EMR está disponível, no Amazon EMR no EC2, no Amazon EMR no EKS e no Amazon EMR Sem Servidor.
Para saber mais, consulte as notas de lançamento do emr-spark-8.1.0 e a política de suporte padrão do Amazon EMR. Para começar a usar, crie um cluster ou aplicativo do EMR com o emr-spark-8.1.0 do Console de Gerenciamento da AWS ou use o Agente de Atualização do Apache Spark para Amazon EMR para mover os aplicativos existentes para a versão.