Publié le: Nov 6, 2019
Vous pouvez désormais déboguer et contrôler vos tâches Apache Spark en vous connectant directement au serveur d'historique Apache Spark permanent et hors cluster, à l'aide de la console EMR.
Le serveur d'historique Spark constitue une extension de l'interface utilisateur Web Spark. Il s'agit d'une interface visuelle comportant des informations détaillées au sujet de l'exécution de tâches Spark sur un cluster. Ces mêmes informations incluent notamment des métriques, et se rapportent aux étapes effectuées par le planificateur et aux exécuteurs en cours de fonctionnement.
Indépendamment du cycle de vie du cluster, et hors de ce dernier, le serveur d'historique Spark et les journaux associés aux événements et conteneurs sont désormais accessibles en permanence. Ceci vous permet d'utiliser le serveur avec les clusters qui sont, ou non, en cours d'exécution. Par ailleurs, vous pouvez y accéder directement depuis la console et n'avez plus à suivre de procédure complexe afin de pouvoir l'afficher sous forme d'interface Web.
Cette fonctionnalité est disponible dans les régions suivantes, si vous utilisez la version 5.25 d'EMR : USA Est (Virginie du Nord et Ohio), USA Ouest (Californie du Nord et Oregon), Canada (Centre), UE (Francfort, Irlande et Londres) et Asie-Pacifique (Bombay, Séoul, Singapour, Sydney et Tokyo).