Publié le: Apr 19, 2024
Aujourd'hui, nous avons le plaisir de vous annoncer que les clients pourront désormais utiliser Apache Livy pour soumettre leurs tâches Apache Spark à Amazon EMR sur EKS, en plus d'utiliser l'API StartJobRun, Spark Operator, Spark Submit et des points de terminaison interactifs. Grâce à ce lancement, les clients pourront utiliser une interface REST pour soumettre facilement des tâches Spark ou des extraits de code Spark, récupérer les résultats de manière synchrone ou asynchrone tout en continuant à bénéficier de tous les avantages d'Amazon EMR sur EKS, tels que l'exécution Spark optimisée pour EMR, le point de terminaison Livy sécurisé par SSL, l'expérience de configuration programmatique, etc.
Apache Livy est un service qui permet d'interagir facilement avec le cluster Spark via l'interface REST. Avant le lancement d'aujourd'hui, les clients qui exécutaient leurs lots ou charges de travail interactives depuis leur environnement local via une interface REST devaient utiliser l'API StartJobRun ou des points de terminaison interactifs. Cela a obligé les clients à apporter des modifications à leurs applications. Grâce au lancement d'aujourd'hui, nous avons simplifié l'expérience grâce à laquelle les clients peuvent facilement créer un point de terminaison Livy et utiliser ce point de terminaison pour soumettre des tâches Apache Spark à leur Amazon EMR sur des clusters EKS via une interface REST. En outre, pour renforcer la sécurité, les clients peuvent également restreindre l'accès au point de terminaison Livy en configurant l'authentification via l'un des protocoles pris en charge tels que Kerberos, Custom Auth.
Pour en savoir plus et commencer, consultez la documentation de la section Apache Livy. Amazon EMR sur EKS avec Apache Livy est disponible avec la version EMR 7.1 dans les régions où Amazon EMR sur EKS est actuellement disponible.