Amazon EMR Managed Scaling prend désormais en compte le positionnement d'Application Master
Aujourd'hui, nous sommes ravis d'annoncer une nouvelle amélioration d'EMR Managed Scaling qui augmente la résilience des applications et fait évoluer le cluster en fonction de la demande de l'exécuteur et d'ApplicationMasters en ajoutant la prise en charge de Yarn Node Labels. Amazon EMR garantit par défaut que les processus qui contrôlent les tâches en cours d'exécution et qui doivent rester actifs pendant toute la durée de vie de la tâche (ApplicationMasters) peuvent être exécutés à la fois sur les nœuds principaux et sur les nœuds de tâches. Cependant, de nombreux clients qui utilisent notamment des instances Spot pour exécuter des nœuds de tâches choisissent d'exécuter ApplicationMasters uniquement sur des nœuds principaux à la demande afin de garantir que les tâches en cours d'exécution n'échouent pas si les maîtres d'applications exécutés sur des instances Spot sont interrompus. Avec le lancement d'aujourd'hui, EMR Managed Scaling va désormais dimensionner les clusters en fonction de la demande des requêtes individuelles des AM ou des exécuteurs, telles que définies par les étiquettes des nœuds YARN. La mise à l'échelle intelligente du cluster en fonction de la demande des AM ou des exécuteurs permet d'améliorer les performances et l'utilisation, mais aussi de réduire les coûts.
Dans le cadre du lancement d'aujourd'hui, avec la version 7.2 et les versions ultérieures d'EMR, Amazon EMR vous permettra également de spécifier les expressions d'étiquettes de nœuds YARN au niveau de l'application par type de marché, à savoir à la demande ou Spot. Auparavant, les clients ne pouvaient spécifier les expressions d'étiquettes de nœuds YARN que par niveau de type de nœud, c'est-à-dire Core ou Task. Grâce à cette nouvelle amélioration, les clients bénéficieront désormais d'une flexibilité supplémentaire pour mieux répondre aux besoins des charges de travail de votre cluster.
Cette fonctionnalité est disponible avec la version 7.2 et les versions ultérieures d'Amazon EMR dans toutes les régions AWS où Amazon EMR Managed Scaling est disponible. Consultez notre documentation relative à Managed Scaling pour en savoir plus.