Publié le: Jun 15, 2020
Amazon EMR conserve désormais le serveur de chronologie YARN et l’interface utilisateur (UI, user interface) avec les journaux d’évènements et de conteneur en dehors du cluster. Vous pouvez désormais déboguer et surveiller vos applications YARN qui ne dépendent pas du cycle de vie du cluster en vous connectant directement aux interfaces web avec la console EMR. Le serveur de chronologie YARN et l’UI Tez sont des applications open source qui fournissent des métriques et des outils d’élément visuel pour les clusters actifs et résiliés.
Pour déboguer des applications distribuées, il faut analyser les journaux de plusieurs sources. Les YARN (planificateur de ressource), Tez (cadre de Big Data), et Spark (moteur d’analyse) natifs améliorent le débogage en superposant les journaux au contexte d’exécution avec une UI intuitive. Toutefois, vous devrez effectuer plusieurs étapes lors de votre connexion au nœud maître pour afficher les interfaces web sur votre cluster EMR pour des raisons de sécurité. De plus, si vous exécutez un cluster transitoire, l’UI ne sera plus disponible lorsque le cluster sera résilié. Amazon EMR simplifie le débogage et la surveillance en introduisant le serveur d’historique Spark permanent, le serveur de chronologie YARN et l’UI de TEZ, directement accessibles depuis la console EMR.
Pour démarrer avec le serveur de chronologie YARN et l’UI de Tez, veuillez vous rendre sur AWS Management Console.
Cette fonctionnalité est disponible sur les versions 6.0.0 et ultérieures d'EMR, dans les régions USA Est (Virginie du Nord et Ohio), USA Ouest (Californie du Nord et Oregon), Canada (Centre), UE (Francfort, Irlande et Londres) et Asie-Pacifique (Mumbai, Séoul, Singapour, Sydney et Tokyo).