使用Amazon SNS & SQS 实现 Amazon CloudWatch 持续报警

概述

Amazon CloudWatch 可实时监控您的亚马逊云科技 (AWS) 资源以及您在 AWS 上运行的应用程序。您可以使用 CloudWatch 收集和跟踪指标，这些指标是您可衡量的相关资源和应用程序的变量。您可以创建警报，这些警报监视指标，当超出阈值时，它们会发送通知或者对您所监控的资源自动进行更改。例如，您可以监控您的 Amazon EC2 实例的 CPU 使用率以及磁盘读写情况，然后使用此数据确定您是否应启动其它实例来处理增加的负载。您还可以使用此数据停止未完全利用的实例以节省开支。

但是，Amazon CloudWatch Alarm仅会在警报从【正常】状态转变为【告警】状态时触发一次警报。此后，即使警报仍然处于【告警】状态，也不会有新的通知产生。

本文将介绍，如何基于Amazon SNS 和 Amazon SQS，在警报被触发后按照一定的时间频率来重复报警，实现持续报警的效果，确保您及时知晓系统中的问题。

流程图

本方案会主要会使用到以下服务：

Amazon CloudWatch
Amazon SNS
Amazon SQS
Amazon Lambda

首先，创建Amazon CloudWatch Alarm，当警报触发时，配置将警报信息发送至Amazon SNS，实际上告警操作类型除了Amazon SNS以外，还支持Amazon EC2 操作，扩展 Auto Scaling 组以及Amazon Systems Manager中的一些操作，具体可以参考此链接。这里使用Amazon SNS，主要是为了后续串联Amazon SQS；

接着，为Amazon SNS配置类型为Amazon SQS的订阅，这样便可将警报信息传输至Amazon SQS；

最后，将Amazon SQS配置为Amazon Lambda的触发器，这样当警报信息传输至Amazon SQS时，就会触发Amazon Lambda；

其中核心逻辑有两个：

一、Amazon Lambda与Amazon SQS集成使用的特性：您可以使用 Lambda 函数来处理某个 Amazon SQS队列中的消息。Lambda 事件源映射支持标准队列和先进先出 (FIFO) 队列。在 Amazon SQS 中，您可以通过将来自一个应用程序组件的任务发送到一个队列中并异步处理它们来进行分载。Lambda 轮询队列并同步调用您的 Lambda 函数，其中有包含队列消息的事件。Lambda 按批次读取消息，并为每个批次调用一次函数。当您的函数成功处理一个批次后，Lambda 就会将其消息从队列中删除。

二、Amazon SQS可见性超时：当使用者接收并处理来自某个队列的消息时，消息将保留在该队列中。Amazon SQS 不会自动删除消息。因为 Amazon SQS 是分布式系统，所以无法保证使用者实际收到消息 (例如，由于使用者应用程序问题)。因此，使用者在接收和处理消息后必须从队列中删除该消息。在收到消息后，消息将立即保留在队列中。为防止其他用户再次处理消息，Amazon SQS 会将可见性超时，即 Amazon SQS 阻止其他用户接收并处理消息的一段时间。消息的默认可见性超时为 30 秒。最小为 0 秒。最长为 12 小时。

在本解决方案中，Lambda的代码逻辑为检查警报状态，当警报仍未修复时，会主动抛出一个异常，这样Lambda就会认为函数并未成功处理，也不会自动从队列中删除消息，随即使用Amazon SQS可见性超时来控制间隔时间，达到预计时间后便会重复报警，直到警报被修复。当然Amazon SQS本身也存在一些限制，消息最多能在队列中保留14天。如果您需要让警报机制保持超过 14 天，我们可以使用另一个方案。

除了解决方案中使用邮件完成警报的通知，您也可以实现短信、企业微信、钉钉、飞书等多种方式的通知。

步骤

在开始之前，请先确保您具有登录AWS 全球区或中国区控制台的账号，并具备管理员权限，您可以先登录控制台，选择合适的区域，并保持窗口开启。

一、创建Amazon SQS

请按下面的信息创建SQS。

Name: my-poc-alarm-queue
Visibility timeout: 5 Minutes
Message retention period: 14 Days

二、创建Amazon SNS

请按下面的信息分别创建SNS。

Name: my-poc-alarm-sns
Display name: my-poc-alarm-sns

Name: my-poc-sendAlarm
Display name: my-poc-sendAlarm

请按下面的信息分别创建Subscriptions。

Topic ARN: arn:aws:sns:region-code:account-id:my-poc-alarm-sns
Protocol: Amazon SQS
Endpoint: arn:aws:sqs: region-code: account-id:my-poc-alarm-queue

Topic ARN: arn:aws:sns:region-code:account-id:my-poc-sendAlarm
Protocol: Email
Endpoint: your-email-address

三、创建IAM Policy和IAM Role

请按下面的信息创建用于Amazon Lambda的IAM Role。

按照以下内容创建trust-relationship.json文件并创建IAM Role

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
	
	aws iam create-role \
  	  --role-name my-poc-lambda-role \
  	  --assume-role-policy-document file://trust-relationship.json

按照以下内容创建IAM Policy

my-poc-sqs-policy.json
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "sqs:DeleteMessage",
                "sqs:ReceiveMessage",
                "sqs:GetQueueAttributes"
            ],
            "Resource": "arn:aws:sqs:region-code:account-id:my-poc-alarm-queue"
        }
    ]
}
               
               aws iam create-policy \
                 --policy-name my-poc-sqs-policy \
                 --policy-document file://my-poc-sqs-policy.json

my-poc-sns-policy.json
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "sns:Publish",
            "Resource": "arn:aws:sns:region-code:account-id:my-poc-sendAlarm"
        }
    ]
}
               
               aws iam create-policy \
                 --policy-name my-poc-sns-policy \
                 --policy-document file://my-poc-sns-policy.json

附加IAM Policy到IAM Role

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/my-poc-sqs-policy \
  --role-name my-poc-lambda-role
	
aws iam attach-role-policy \
  --policy-arn arn:aws:iam::account-id:policy/my-poc-sns-policy \
  --role-name my-poc-lambda-role

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::aws:policy/CloudWatchReadOnlyAccess \
  --role-name my-poc-lambda-role


aws iam attach-role-policy \
  --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole \
  --role-name my-poc-lambda-role

四、创建AWS Lambda

请按下面的信息创建Lambda

Author from scratch: selected
Runtime: Python 3.9
Architecture: x86_64
Execution role: Use an existing role
Existing role: my-poc-lambda-role

示例代码如下：

import json
import boto3

def lambda_handler(event, context):
   cloudwatch = boto3.resource('cloudwatch')
   sns = boto3.resource('sns')
   topic = sns.Topic('arn:aws:sns:region-code:account-id:my-poc-sendAlarm')
   
   tmpRecord = event['Records'][0]
   tmpBody = json.loads(tmpRecord['body'])
   tmpMessage = json.loads(tmpBody['Message'])
   tmpAlarmName = tmpMessage['AlarmName']
   alarm = cloudwatch.Alarm(tmpAlarmName)
   tmpAlarmValue = alarm.state_value
   tmpStateReason = alarm.state_reason
   tmpjson = {}
   tmpjson['AlarmName'] = tmpAlarmName
   tmpjson['AlarmState'] = tmpAlarmValue
   tmpjson['AlarmStateDetail'] = tmpStateReason

   topic.publish(
      Message=str(tmpjson)
   )
   
   if tmpAlarmValue == 'ALARM':
      raise Exception("This alarm still exists!")