Publicado: Jun 6, 2023
Temos o prazer de anunciar que o Amazon EMR no EKS agora oferece suporte ao Spark Operator e ao spark-submit como novos modelos de envio de trabalhos para o Apache Spark, além da API StartJobRun existente. Com o lançamento de hoje, agora você tem a flexibilidade de enviar seus trabalhos do Apache Spark por meio de seu modelo de envio preferido no Amazon EMR no EKS sem precisar alterar sua aplicação.
Antes do lançamento de hoje, você só podia enviar trabalhos do Apache Spark por meio da API StartJobRun, incluindo o uso da AWS CLI e do AWS Controllers para Kubernetes (ACK). Os clientes com aplicações existentes do Apache Spark que executam o Spark Operator ou o spark-submit precisariam fazer alterações em suas aplicações para usar o Amazon EMR no EKS. Com esse atributo, agora você pode executar as aplicações no EMR no EKS sem alterá-las, se beneficiar da performance e dos atributos de runtime do EMR Spark e economizar tempo usando o spark-submit e o Spark Operator com os quais você já está familiarizado.
Para saber mais sobre esse atributo, acesse os guias de desenvolvimento do spark operator e do spark-submit, bem como a publicação do blog sobre big data da AWS: Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit. O Spark Operator e o spark-submit são compatíveis com o Amazon EMR no EKS 6.10 e superior e estão disponíveis nas regiões nas quais o Amazon EMR no EKS é oferecido atualmente.