Publicado en: Jul 25, 2019
AWS Glue ha actualizado su infraestructura de Apache Spark para admitir Apache Spark 2.4.3. (además de Apache Spark 2.2.1) para trabajos de ETL. Esto le permitirá aprovechar las correcciones de estabilidad y las nuevas características disponibles en esta versión de Apache Spark.
Puede elegir la infraestructura de Apache Spark en que desee que se ejecuten sus trabajos de Glue al elegir una versión de Glue en las propiedades de los trabajos. Sus actuales trabajos de ETL de Glue que se crearon sin especificar una versión de Glue crearán de forma predeterminada con la versión 0.9 de Glue. Los trabajos de Glue con la versión 1.0 de Glue se ejecutarán en Apache Spark 2.4.3. Además de admitir la última versión de Spark, usted también tendrá la posibilidad de elegir entre Python 2 y Python 3 para sus trabajos de ETL.
Para saber más acerca de cómo puede tomar ventaja de esta característica, consulte nuestra documentación y las notas de la versión.
Esta característica se encuentra disponible en todas las regiones de AWS en las que se ofrece AWS Glue, excepto AWS GovCloud (EE.UU. Este) y AWS GovCloud (EE.UU.).