Publié le: Jun 19, 2023
Nous sommes ravis d'annoncer l'ajout de Volcano et d'Apache Yunikorn en tant que planificateurs de tâches lors de l'exécution d'EMR sur EKS à l'aide de Spark operator et de spark-submit. Amazon EMR sur EKS permet aux clients d'exécuter des cadres big data open-source, tels qu'Apache Spark on Amazon EKS. L'utilisation d'un planificateur de tâches personnalisé pour les tâches Spark permet une gestion précise de la capacité et un provisionnement plus rapide des pods à grande échelle.
Le planificateur Kubernetes par défaut gère le placement des espaces individuels, tout en maintenant des contraintes telles que la capacité disponible, les demandes et les limites des ressources, ainsi que l'affinité des nœuds. Toutefois, il ne prend pas en charge la planification en fonction des tâches. Grâce à cette nouvelle fonctionnalité, les clients ont la possibilité d'utiliser Apache Yunikorn et Volcano pour planifier des tâches EMR sur EKS Spark avec Spark operator et spark-submit. Les clients peuvent tirer parti de fonctionnalités telles que la planification des groupes, la gestion des files d'attente, la préemption et la planification du partage équitable de ces planificateurs, ce qui contribue à fournir un débit de planification élevé et une capacité optimisée.
Pour en savoir plus sur cette fonctionnalité, consultez la section relative à la planification personnalisée des tâches de notre documentation. Volcano et Apache Yunikorn en tant que planificateurs Kubernetes personnalisés sont pris en charge sur la version 6.11 d’Amazon EMR sur EKS et les versions supérieures, et disponibles dans les régions où Amazon EMR sur EKS est actuellement disponible.