Amazon EMR já é compatível com o Apache Spark 4.0.2 com disponibilidade para o público em geral
Agora, o Amazon EMR é compatível com o Apache Spark 4.0.2 em todos os três modelos de implantação. Com o Spark 4.0.2, você pode criar e manter pipelines de dados com mais facilidade com os tipos de dados ANSI SQL e VARIANT, aplicar controle de acesso refinado (FGAC) no nível de linha ou coluna, fortalecer as estruturas de conformidade e governança com o formato de tabela do Apache Iceberg v3 e acelerar a implantação de novas aplicações em tempo real com recursos aprimorados de streaming.
Com o Spark 4.0.2, você pode criar pipelines de dados, tornando a engenharia de dados acessível a um número maior de usuários por meio da compatibilidade com o padrão ANSI SQL, eliminando a necessidade de aprender a sintaxe específica do Spark. O Spark 4.0.2 oferece suporte nativo a dados JSON e semiestruturados por meio de tipos de dados VARIANT, oferecendo flexibilidade para lidar com diversos formatos de dados. Você pode aplicar o controle de acesso refinado (FGAC) nas operações de leitura e gravação das tabelas registradas do AWS Lake Formation em trabalhos do Apache Spark. Com base nesses recursos de segurança, o formato de tabela do Apache Iceberg v3 oferece garantias de transação mais robustas e rastreia a linhagem de dados, criando as trilhas de auditoria necessárias para a conformidade regulatória. Os controles de streaming aprimorados simplificam o gerenciamento de operações complexas com estado e melhoram o monitoramento, permitindo que você agilize a implantação de aplicações em tempo real para detecção de fraudes, personalização e outros casos de uso urgentes.
Apache Spark 4.0.2 já está disponível em todas as regiões que oferecem o EMR. Para atualizar aplicações EMR existentes, você pode usar o agente de upgrade do Apache Spark para acelerar as atualizações. Para saber mais sobre o Apache Spark 4.0.2 no Amazon EMR, acesse as notas de versão do Amazon EMR ou comece a usar criando uma aplicação do EMR com o Spark 4.0.2 no Console de Gerenciamento da AWS.