Publié le: Jun 6, 2023
Nous sommes ravis d'annoncer qu'Amazon EMR sur EKS prend désormais en charge Spark Operator et spark-submit en tant que nouveaux modèles de soumission de tâches pour Apache Spark, en plus de l'API StartJobRun existante. Avec le lancement d'aujourd'hui, vous avez désormais la possibilité de soumettre vos tâches Apache Spark via votre modèle de soumission préféré sur Amazon EMR sur EKS sans avoir à modifier votre application.
Avant le lancement d'aujourd'hui, vous pouviez uniquement soumettre des tâches Apache Spark via l'API StartJobRun, notamment à l'aide d’AWS CLI et des contrôleurs AWS pour Kubernetes (ACK). Les clients disposant d'applications Apache Spark existantes exécutant Spark Operator ou spark-submit devront apporter des modifications à leurs applications pour pouvoir utiliser Amazon EMR sur EKS. Grâce à cette fonctionnalité, vous pouvez désormais exécuter vos applications sur EMR sur EKS sans les modifier, bénéficier des performances et des fonctionnalités de l’environnement d’exécution EMR Spark et gagner du temps en utilisant spark-submit et Spark Operator que vous connaissez déjà.
Pour en savoir plus sur cette fonctionnalité, consultez les Guides du développeur pour Spark Operator et spark-submit, ainsi que l'article du blog AWS Big Data Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit (Présentation d'Amazon EMR sur la soumission de tâches EKS avec Spark Operator et spark-submit). Spark Operator et spark-submit sont pris en charge sur Amazon EMR sur EKS 6.10 et versions ultérieures, et disponibles dans les régions où Amazon EMR sur EKS est actuellement disponible.