Publié le: Jul 25, 2019
AWS Glue a mis à jour son infrastructure Apache Spark pour prendre en charge Apache Spark 2.4.3 (en plus d'Apache Spark 2.2.1) pour les tâches ETL. Cela vous permet de tirer parti des correctifs de stabilité et des nouvelles fonctionnalités disponibles dans cette version d'Apache Spark.
Vous pouvez choisir l'infrastructure Apache Spark sur laquelle vous souhaitez exécuter vos tâches Glue en choisissant une version de Glue dans les propriétés de la tâche. Vos tâches ETL Glue existantes créées sans préciser de version Glue seront basées par défaut sur la version 0.9 de Glue. Les tâches Glue sur la version 1.0 de Glue s'exécuteront sur Apache Spark 2.4.3. En plus de prendre en charge la toute dernière version de Spark, vous aurez également la possibilité de choisir entre Python 2 et Python 3 pour vos tâches ETL.
Pour en savoir plus sur la manière dont vous pouvez tirer parti de cette fonctionnalité, consultez notre documentation et les notes de mise à jour.
Cette fonctionnalité est désormais disponible dans toutes les régions où AWS Glue est disponible, à l'exception d'AWS GovCloud (US, côté est) et AWS GovCloud (US, côte ouest).