Amazon EMR Sem Servidor agora oferece suporte ao Apache Spark 4.0.1 (versão prévia)
O Amazon EMR Sem Servidor agora oferece suporte ao Apache Spark 4.0.1 (versão prévia). Com o Spark 4.0.1, você pode criar e manter pipelines de dados com mais facilidade com os tipos de dados ANSI SQL e VARIANT, fortalecer as estruturas de conformidade e governança com o formato de tabela do Apache Iceberg v3 e implantar novas aplicações em tempo real mais rapidamente com recursos aprimorados de streaming. Isso permite que suas equipes reduzam a dívida técnica e façam iterações mais rapidamente, garantindo a precisão e a consistência dos dados.
Com o Spark 4.0.1, você pode criar pipelines de dados com o SQL ANSI padrão, tornando-o acessível a um conjunto maior de usuários que não conhecem linguagens de programação como Python ou Scala. O Spark 4.0.1 oferece suporte nativo a dados JSON e semiestruturados por meio de tipos de dados VARIANT, oferecendo flexibilidade para lidar com diversos formatos de dados. Você pode fortalecer a conformidade e a governança por meio do formato de tabela do Apache Iceberg v3, que fornece garantias de transação e rastreia como seus dados mudam ao longo do tempo, criando as trilhas de auditoria necessárias para os requisitos regulatórios. Você pode implantar aplicações em tempo real com mais rapidez por meio de controles de streaming aprimorados que permitem gerenciar operações complexas com estado e monitorar tarefas de streaming com mais facilidade. Com esse recurso, você pode oferecer suporte a casos de uso como detecção de fraudes e personalização em tempo real.
O Apache Spark 4.0.1 está disponível em versão prévia em todas as regiões que oferecem o EMR Sem Servidor, exceto as regiões da China e AWS GovCloud (EUA). Para saber mais sobre o Apache Spark 4.0.1 no Amazon EMR, acesse as notas de versão do Amazon EMR Sem Servidor ou comece criando uma aplicação do EMR com o Spark 4.0.1 no Console de Gerenciamento da AWS.