Publié le: May 6, 2024
Amazon EMR sans serveur est une option sans serveur d'Amazon EMR qui permet aux ingénieurs et aux spécialistes des données d'exécuter facilement des cadres d'analytique du big data open source sans avoir à configurer, gérer ni dimensionner des clusters ou des serveurs. Aujourd'hui, nous sommes ravis d'annoncer la surveillance détaillée des performances des tâches Apache Spark avec Amazon Managed Service for Prometheus, qui vous permet d'analyser, de surveiller et d'optimiser vos tâches à l'aide des métriques de moteur spécifiques aux tâches et des informations sur les chronologies, les étapes, les tâches et les exécuteurs des événements Spark.
Apache Spark fournit des métriques de performance détaillées pour le pilote et les exécuteurs pour des tâches telles que la mémoire du heap JVM, le GC, les informations aléatoires, etc. Ces métriques peuvent être utilisées pour le dépannage des problèmes de performances et la caractérisation des charges de travail. Amazon Managed Service for Prometheus est un service de surveillance et d'alerte sécurisé, sans serveur et entièrement géré. Grâce à l'intégration sans serveur d'EMR à Amazon Managed Service for Prometheus, vous pouvez désormais surveiller ces métriques de performance pour plusieurs applications/tâches dans une seule vue, ce qui permet aux équipes centralisées de surveiller plus facilement ces métriques afin d'identifier les goulots d'étranglement en matière de performances, les tendances historiques, etc.
Cette fonctionnalité est généralement disponible sur les versions 7.1.0 et ultérieures d'EMR et dans les régions AWS suivantes : USA East (Virginie du Nord, Ohio), USA Ouest (Oregon), Europe (Stockholm, Paris, Francfort, Irlande, Londres), Amérique du Sud (São Paulo) et Asie-Pacifique (Tokyo, Séoul, Singapour, Mumbai, Sydney). Pour commencer, consultez la page Surveillez les métriques Spark avec Amazon Managed Service for Prometheus dans le guide de l'utilisateur d'Amazon EMR sans serveur.