如何排查 CloudWatch Logs 的问题，以使其流出到我的 Amazon OpenSearch Service 域中？

上次更新日期：2021 年 11 月 22 日

在原定设置情况下，Amazon CloudWatch 只会为每个 OpenSearch Service 域创建一个 AWS Lambda 函数。如果您设置多个日志组以通过编列索引将数据传输到您的域，则全部多个日志组均会调用相同的 Lambda 函数。当第一个日志组调用 Lambda 函数时，调用将会在您的域创建一个索引和一个类型字段。

在 Elasticsearch 6.0.0 或更高版本中创建的索引只能包含单个映射类型。在 5.x 中创建的具有多种映射类型的索引将继续像以前在 Elasticsearch 6.x 中一样运行。如需关于 Elasticsearch 映射类型弃用的更多信息，请参阅 Elasticsearch 网站上的移除映射类型。

若其他日志组尝试调用相同的 Lambda 函数，调用将会失败，并显示以下错误消息：

"reason": "Rejecting mapping update to [<index_name>] as the final mapping would have more than 1 type: [log-group-1, log-group-2]”

要解决此问题，使用以下语法更新您的 Lambda 函数：

var indexName = [
        'cwl-' + payload.logGroup.toLowerCase().split('/').join('-') + '-' + timestamp.getUTCFullYear(),
        ('0' + (timestamp.getUTCMonth() + 1)).slice(-2),
        ('0' + timestamp.getUTCDate()).slice(-2) 
        ].join('.');

此语法会为流式传输至您的 OpenSearch Service 域的不同日志组创建多个索引。

然后，保存更新后的 Lambda 函数，以便为流式传输至您的域的多个日志组创建独立的索引。

重要提示：在将 CloudWatch 日志组流式传输至基于 VPC 的 OpenSearch Service 域之前，确保更新您的 AWS Identity and Access Management (IAM) 角色策略。附加到对应 Lambda 函数的 IAM 角色必须附加有 AWSLambdaVPCAccessExecutionRole 策略。

以下是采用 JSON 格式的 AWSLambdaVPCAccessExecutionRole 策略：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "ec2:CreateNetworkInterface",
                "ec2:DescribeNetworkInterfaces",
                "ec2:DeleteNetworkInterface"
            ],
            "Resource": "*"
        }
    ]
}

注意：此托管策略使 Lambda 函数能够将 CloudWatch 日志组写入 VPC 中的您的集群。

在为 Lambda 函数附加策略以后，您可以开始将日志流式传输至 VPC 中的 OpenSearch Service 域。

如果通过精细访问控制将您的 CloudWatch Logs 流式传输至 OpenSearch Service 域，您可能会遇到以下权限错误：

"{\"statusCode\":403,\"responseBody\":{\"error\":{\"root_cause\":[{\"type\":\"security_exception\",\"reason\":\"no permissions for [indices:data/write/bulk] and User [name=arn:aws:iam::123456789101:role/lambda_elasticsearch_execution, roles=[arn:aws:iam::123456789101:role/lambda_elasticsearch_execution], requestedTenant=null]\"}],\"type\":\"security_exception\",\"reason\":\"no permissions for [indices:data/write/bulk] and User [name=arn:aws:iam::123456789101:role/lambda_elasticsearch_execution, roles=[arn:aws:iam::123456789101:role/lambda_elasticsearch_execution], requestedTenant=null]\"},\"status\":403}}"

如果您从 Lambda 函数日志收到此错误消息，则表示该 role mapping（角色映射）不完整。

注意：在默认情况下，OpenSearch Service 会为您创建一个 AWS Lambda 函数。

要解决此错误消息，执行以下步骤：

1.    打开 OpenSearch 控制面板。您可以在 OpenSearch Service 控制台的域摘要中找到 OpenSearch 控制面板的链接。

2.    在左侧导航窗格中，单击锁定图标。

3.    选择角色映射。

4.    选择 all_access 和 security_manager 作为您的角色。

注意：all_access 角色仅提供对集群的访问权限。根据具体使用案例，您还可以向集群添加精细访问控制。

5.    为 all_access 编辑映射。

6.    对于后端角色，添加 Lambda 函数的执行角色并选择提交。您的日志现在应流式传输至您的 OpenSearch Service 域。

如需关于角色映射的更多信息，请参阅将角色映射到用户。

如果您将 CloudWatch Logs（使用默认的 AWS Lambda 函数）流式传输到 OpenSearch Service 域，则可能会遇到以下索引错误：

"errorMessage": "{\"statusCode\":200,\"responseBody\":{\"took\":42,\"errors\":true}}",

注意：默认情况下，AWS Lambda 错误将作为 200 OK 响应返回。

要排查此错误消息，请按以下步骤操作：

1.    打开原定设置的 AWS Lambda 函数。

2.    找到以下代码行：

"var logFailedResponses = true;"

3.    将 var logFailedResponses 值更新为“true”。此更新提供了有关使用 AWS Lambda 函数的任何新索引请求的其他信息。您可以使用这些信息来确定索引问题的原因。

集群块异常由以下原因导致：

• 可用存储空间不足
• JVM 内存压力过高

如需关于排查集群数据块异常问题的更多信息，请参阅 ClusterBlockException。