Amazon EMR 클러스터 인스턴스에서 사용자 지정 지표를 수집하고 CloudWatch에 게시하려면 어떻게 해야 합니까?

최종 업데이트 날짜: 2020년 4월 13일

Amazon EMR 클러스터 인스턴스의 사용자 지정 지표(예: 메모리, CPU, 디스크 공간 사용량)를 구성하고 싶습니다. 그런 다음, 그 지표를 Amazon CloudWatch에 게시하고 싶습니다. 어떻게 해야 합니까?

해결 방법

참고: 사용자 지정 CloudWatch 지표는 무료가 아닙니다. 자세한 내용은 Amazon CloudWatch 요금을 참조하고 유료 티어 섹션의 지표 탭을 검토하십시오.

1.    EMR 클러스터를 시작하면 모니터링 스크립트를 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스에 다운로드하는 bootstrap 작업을 입력합니다.

다음의 예제 스크립트는 cron 작업을 사용하여 5분에 한 번씩 모니터링 스크립트를 실행합니다. 자신의 사용 사례에 맞게 이 스크립트를 수정하십시오. 예를 들어, 수집하여 CloudWatch로 게시하고자 하는 사용자 지정 지표를 스크립트의 마지막 줄에 지정하십시오.

#!/bin/bash
echo "install additional Perl modules"
sudo yum install -y perl-Switch perl-DateTime perl-Sys-Syslog perl-LWP-Protocol-https perl-Digest-SHA.x86_64
echo "download, install, and configure the monitoring scripts"
cd /home/hadoop
curl https://aws-cloudwatch.s3.amazonaws.com/downloads/CloudWatchMonitoringScripts-1.2.2.zip -O
unzip CloudWatchMonitoringScripts-1.2.2.zip && \
rm CloudWatchMonitoringScripts-1.2.2.zip && \
cd aws-scripts-mon
echo "setting cron"
echo "*/5 * * * * /home/hadoop/aws-scripts-mon/mon-put-instance-data.pl --mem-used-incl-cache-buff --mem-util --disk-space-util --disk-path=/mnt --from-cron" | crontab

2.    EMR 클러스터를 시작한 후에는 CloudWatch 콘솔을 엽니다.

3.    탐색 창에서 [지표]를 선택합니다. 사용자 지정 지표는 접두사 System/Linux와 함께 표시됩니다.

또한 Ganglia를 사용하여 EMR 클러스터 또는 각 클러스터 인스턴스에 대한 지표(예: CPU, 디스크 공간 사용량)를 모니터링합니다.


이 문서가 도움이 되었습니까?

개선할 부분이 있습니까?


다른 도움이 필요하십니까?