Comment collecter des mesures personnalisées depuis des instances de cluster Amazon EMR pour ensuite les publier dans CloudWatch ?

Dernière mise à jour : 13 avril 2020

Je souhaite configurer les mesures personnalisée pour les instances de cluster Amazon EMR, telles que la mémoire, le CPU et l'utilisation de l'espace disque. Puis, je souhaite publier les mesures vers Amazon CloudWatch. Quelle est la marche à suivre ?

Solution

Remarque : les mesures personnalisées CloudWatch ne sont pas gratuites. Pour plus d'informations, consultez Tarification Amazon CloudWatch et examinez l'onglet Mesures sous la section Offre payante.

1.    Lorsque vous lancez un cluster EMR, fournissez une action bootstrap qui télécharge les scripts de surveillance vers les instances Amazon Elastic Compute Cloud (Amazon EC2).

Le script d'exemple suivant utilise une tâche cron pour exécuter les scripts de surveillance toutes les 5 minutes. Personnalisez ce script pour qu'il s'adapte à votre cas d'utilisation. Par exemple, dans la dernière ligne du script, spécifiez les mesures personnalisées que vous souhaitez collecter et publier dans CloudWatch.

#!/bin/bash
echo "install additional Perl modules"
sudo yum install -y perl-Switch perl-DateTime perl-Sys-Syslog perl-LWP-Protocol-https perl-Digest-SHA.x86_64
echo "download, install, and configure the monitoring scripts"
cd /home/hadoop
curl https://aws-cloudwatch.s3.amazonaws.com/downloads/CloudWatchMonitoringScripts-1.2.2.zip -O
unzip CloudWatchMonitoringScripts-1.2.2.zip && \
rm CloudWatchMonitoringScripts-1.2.2.zip && \
cd aws-scripts-mon
echo "setting cron"
echo "*/5 * * * * /home/hadoop/aws-scripts-mon/mon-put-instance-data.pl --mem-used-incl-cache-buff --mem-util --disk-space-util --disk-path=/mnt --from-cron" | crontab

2.    Une fois le cluster EMR lancé, ouvrez la console CloudWatch.

3.    Dans le volet de navigation, sélectionnez Métriques. Vos mesures personnalisées sont affichées avec le préfixe System/Linux.

Vous pouvez également utiliser Ganglia pour surveiller les mesures telles que le CPU et l'utilisation de l'espace disque, pour le cluster EMR ou pour des instances de cluster individuelles.


Cet article vous a-t-il été utile ?

Que pouvons-nous améliorer ?


Besoin de plus d'aide ?