如何将数据从 CloudWatch Logs 流传输到另一个账户中的基于 VPC 的 Amazon OpenSearch Service 集群？

上次更新日期：2021 年 7 月 23 日

我尝试将数据从 Amazon CloudWatch Logs 流式传输到另一个账户中使用 Virtual Private Cloud (VPC) 的 Amazon OpenSearch Service 集群。但是，我收到了“Enter a valid Amazon OpenSearch Service Endpoint”（请输入有效的 Amazon Elasticsearch Service 终端节点）错误消息。如何解决此错误？

简短描述

问：Amazon OpenSearch Service 是 Amazon Elasticsearch Service (Amazon ES) 的后继者。

要将数据从 CloudWatch Logs 流式传输到其他账户中的 OpenSearch Service 集群，请执行以下步骤：

1.    在账户 A 中设置 CloudWatch Logs。

2.    在账户 A 中配置 AWS Lambda。

3.    配置账户之间的Amazon Virtual Private Cloud（Amazon VPC）对等互连。

解决方法

在账户 A 中设置 CloudWatch Logs

1.    在账户 A 中打开 CloudWatch Logs 控制台，然后选择您的日志组。

2.    选择 Actions（操作）。

3.    选择 Create OpenSearch subscription（创建 OpenSearch 订阅）筛选条件。

4.    对于 Select Account（选择账户）选项，选择 This account（此账户）。

5.    在 OpenSearch Service 集群下拉列表中，为账户 A 选择一个现有集群。

6.    选择有权调用选定的 OpenSearch Service 集群的 Lambda IAM Execution Role（Lambda IAM 执行角色）。

7.    将 AWSLambdaVPCAccessExecutionRole 策略附加到您的角色。

8.    在 Configure log format and filters（配置日志格式筛选条件），选择 Log Format（日志格式）和 Subscription Filter Pattern（订阅筛选条件模式）。

9.    选择 Next。

10.    输入 Subscription filter（订阅筛选条件）名称，然后选择 Start Streaming（开始流式传输）。有关流式传输的更多信息，请参阅将 CloudWatch Logs 数据流式传输到 Amazon OpenSearch Service。

在账户 A 中配置 Lambda

1.    在账户 A 中，打开 Lambda 控制台。

2.    选择您的 Lambda 函数。

3.    在函数代码中，更新账户 B 中 OpenSearch Service 集群的终端节点变量。此更新允许 Lambda 函数将数据发送到账户 B 中的 OpenSearch Service 域。

注意：您可以粘贴账户 B 的公有 DNS 名称。务必要将 URL 终端节点中的“https://”移除。

4.    选择 Configuration（配置）。

5.    选择 VPC。

6.    在 VPC 下，选择 Edit（编辑）。

7.    选择您的 VPC、子网和安全组。

注意：此选择可确保 Lambda 函数在 VPC 内运行，使用 VPC 路由将数据发送回 OpenSearch Service 域。有关 Amazon Virtual Private Cloud (Amazon VPC) 配置的更多信息，请参阅配置 Lambda 函数以访问 VPC 中的资源。

8.    选择 Save（保存）。

在账户之间配置 VPC 对等

1.    在账户 A 和账户 B 中打开 Amazon VPC 控制台。

注意：请确保您的 VPC 没有重叠的 CIDR 块。

2.    在两个自定义 VPC（Lambda 和 OpenSearch Service）之间创建 VPC 对等会话。此 VPC 对等会话允许 Lambda 将数据发送到您的 OpenSearch Service 域。有关 VPC 对等连接的更多信息，请参阅创建并接受 VPC 对等连接。

3.    更新两个 VPC 的路由表。有关路由表的更多信息，请参阅为 VPC 对等连接更新路由表。

4.    在账户 A 中，转到安全组。

5.    选择为在其内设置 Lambda 的子网分配的安全组。

6.    添加入站规则以允许来自 OpenSearch Service 子网的流量。

7.    在账户 B 中，选择为在其内设置 OpenSearch Service 的子网分配的安全组。

8.    添加入站规则以允许来自 Lambda 子网的流量。

9.    在账户 B 中，打开 OpenSearch Service console（OpenSearch Service 控制台）。

10.    选择 Actions（操作）。

11.    选择 modify access policy（修改访问策略），然后附加以下策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
       
    "AWS": "arn:aws:iam::<AWS Account A>:role/<Lambda Execution Role>"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1: ::<AWS
    Account B>:domain/<OpenSearch Domain Name>/*"
    }
  ]
}

此策略允许 OpenSearch Service 从 Lambda 函数的执行角色进行调用。

12.    在 Lambda console（Lambda 控制台）中，检查 Error count and success rate（错误计数和成功率）指标。此指标可验证是否已将日志成功传输到 OpenSearch Service。

13.    检查 OpenSearch Service 中的 Indexing rate（索引率）指标以确认是否已发送数据。现在，CloudWatch Logs 将跨 Amazon VPC 中的两个账户进行流式传输。

这篇文章对您有帮助吗？

提交反馈

您是否需要账单或技术支持？

联系 AWS Support