Amazon EMR introduit le support à long terme avec Apache Spark 4.1
Amazon EMR lance les versions LTS (prise en charge à long terme), à commencer par emr-spark-8.1.0 et Apache Spark 4.1. Avec LTS, les versions désignées de l’environnement d’exécution AWS pour Apache Spark bénéficient d’une assistance de 36 mois. Amazon EMR fournit des versions LTS avec des correctifs pour les problèmes de sécurité critiques et graves, les bogues et la corruption des données, sous réserve de disponibilité. LTS vous permet d’exécuter les charges de travail de production de Spark sur une seule version plus longtemps et de procéder à la mise à niveau selon votre propre calendrier, sans frais supplémentaires.
Cette version ajoute une prise en charge complète d’Apache Iceberg v3, apportant de nouvelles fonctionnalités géospatiales, d’horodatage de haute précision et d’évolution de schéma à vos tableaux. Les requêtes Spark SQL peuvent référencer les catalogues par leur nom, y compris les catalogues intercomptes et des tableaux Amazon S3, et détecter automatiquement les formats de tableau Apache Iceberg, Delta Lake et Apache Hudi, sans enregistrer chaque catalogue dans votre configuration Spark. Le contrôle d’accès précis couvre désormais un plus grand nombre d’opérations Apache Iceberg et l’opération Delta Lake VACUUM, de sorte que vous pouvez appliquer des autorisations au niveau des colonnes et des lignes à un plus grand nombre de tâches. Amazon EMR sur les clusters EKS prend désormais en charge les points de terminaison Spark Connect avec une authentification basée sur des jetons.
emr-spark-8.1.0 est disponible dans toutes les Régions AWS où Amazon EMR est disponible, sur Amazon EMR sur EC2, Amazon EMR sur EKS et Amazon EMR sans serveur.
Pour en savoir plus, consultez les notes de mise à jour d’emr-spark-8.1.0 et la politique de support standard d’Amazon EMR. Pour commencer, créez un cluster ou une application EMR avec emr-spark-8.1.0 depuis la Console de gestion AWS, ou utilisez l’agent de mise à niveau Apache Spark pour Amazon EMR pour déplacer les applications existantes vers la version.