Publicado: Jul 25, 2019
O AWS Glue atualizou sua infraestrutura do Apache Spark para oferecer suporte ao Apache Spark 2.4.3 (além do Apache Spark 2.2.1) para tarefas de ETL. Isso permite que você aproveite as correções de estabilidade e os novos recursos disponíveis nessa versão do Apache Spark.
Você pode escolher a infraestrutura do Apache Spark para execução das tarefas do Glue escolhendo a versão do Glue nas propriedades da tarefa. As tarefas de ETL do Glue existentes, criadas sem especificação de uma versão do Glue, assumirão o valor padrão de versão do Glue 0.9. As tarefas do Glue com a versão do Glue 1.0 serão executadas no Apache Spark 2.4.3. Além de oferecer suporte à versão mais recente do Spark, você também poderá escolher entre Python 2 e Python 3 para as tarefas de ETL.
Para saber mais sobre como aproveitar esse recurso, consulte a documentação e as notas de release.
Esse recurso já está disponível em todas as regiões em que o AWS Glue é oferecido, exceto nas regiões AWS GovCloud (EUA-Leste) e AWS GovCloud (EUA-Oeste).