亚马逊AWS官方博客

将 Amazon VPC 流日志引入 Kinesis Data Firehose

Amazon Virtual Private Cloud（Amazon VPC）流日志通过提供有关流入和流出 VPC 中 ENI 的 IP 流量的网络遥测数据，帮助您了解 AWS 上的网络流量模式。它允许您执行大量分析任务，例如诊断过于严格的安全组规则、监控到达实例的流量或确定进出网络接口的流量方向。以前，VPC 流日志可以在被其他 AWS 或合作伙伴工具摄取之前发送到 Amazon CloudWatch Logs 或 Amazon Simple Storage Service（Amazon S3）。今天，我们增加了将 VPC 流日志作为新目标发布到 Amazon Kinesis Data Firehose 的功能。

Kinesis Data Firehose 是一项完全托管的服务，用于向日志管理、分析以及安全信息和事件管理（SIEM）系统提供实时流数据。现在，通过这一新功能，您可以简化向与 Kinesis Data Firehose 原生集成的日志分析工具分发日志的过程，从而降低运营开销和总拥有成本。

在这篇文章中，您将学习如何创建 VPC 流日志订阅、发布到 Kinesis Data Firehose 数据流以及如何将 VPC 流日志发送到受支持的目标。您应该已经对 VPC 流日志和 Kinesis Data Firehose 非常熟悉了。

业界领先的合作伙伴

我们很高兴能与许多现有的 VPC 流日志合作伙伴合作，推出分发到 Kinesis Data Firehose 的 VPC 流日志。在深入探讨其工作原理之前，我们要重点介绍一下在发布时集成了此新功能的合作伙伴：

DataDog – <link> (PLACEHOLDER) NewRelic – <link> (PLACEHOLDER) Splunk – <link> (PLACEHOLDER) SumoLogic – <link> (PLACEHOLDER) Trellix – <link> (PLACEHOLDER)

解决方案概述

下图显示了从源 VPC 向 Kinesis Data Firehose 支持的众多目标类型中的一个分发 VPC 流日志的高级概述。您可以将 VPC 流日志配置为直接摄取 Kinesis Data Firehose 分发流。或者，可以将分发流配置为转换源日志，然后将日志加载到各个目标，包括 Amazon S3、Amazon Redshift，以及您或某个合作伙伴解决方案所拥有的任何 HTTP 端点。

图 1 – 分发到 Kinesis Firehose 的流日志

演练

我们从创建分发到 Kinesis Data Firehose 的新 VPC 流日志开始。在我们的示例中，Kinesis Data Firehose 会将 VPC 流日志发送给第三方服务提供商。但是，目标可以是任何受支持的目标，包括 Amazon OpenSearch 和 Amazon Redshift。

先决条件

在本演练中，您应符合以下先决条件：

您已在任何区域创建了新 VPC。或者，您也可以选择一个现有 VPC。

您已经创建了要将 Kinesis Data Firehose 数据流发送到的目标，无论是使用第三方合作伙伴还是 AWS 服务，例如 Amazon Redshift 或 Amazon OpenSearch Service。

您已在 VPC 中部署了正在发送流量的实例或资源。如果没有流量，则不会创建任何流日志。

创建 Kinesis Data Firehose 数据流

  1. 导航到 Kinesis Data Firehose 数据流控制台，然后创建 Kinesis Data Firehose 数据流
  2. 选择“直接 PUT”作为流源。
  3. 从列表中选择目标。

图 2 – 创建 Kinesis Data Firehose 数据流

  1. 输入 Kinesis Data Firehose 数据流的名称。
  2. （可选）如果要执行任何数据操作或更改流的记录格式，请在“转换记录”部分中选择正确的选项。
  3. 根据目标提供商的不同，“目标”设置中可能有多个必填选项或可选选项。在此示例中，输入合作伙伴提供的 HTTP 端点 URL 和 API 密钥。

图 3 – 选择第三方合作伙伴的目标设置。

每个合作伙伴都提供不同的功能，您可以在他们的网站（本博客开头列出）上找到更多信息。

  1. 选择 S3 备份存储桶以确保在记录处理转换未产生预期结果时可以恢复数据。

图 4 – 备份设置

  1. 创建 Kinesis Data Firehose 数据流后，请从详细信息页面复制 ARN，因为在创建 VPC 流日志时需要此内容。

图 5 – 复制 Kinesis Data Firehose 数据流的 ARN

创建 VPCC 流日志

您可以为 VPC、子网或网络接口创建流。如果您为子网或 VPC 创建流日志，则该子网或 VPC 中的每个网络接口都将受到监控。在此示例中，我们将为VPC 创建流日志。

  1. 导航到 Amazon VPC 控制台并创建新的流日志
  2. 输入 VPC 流日志的名称。
  3. 选择要在流日志中捕获的流量类型。
  4. 选择 Kinesis Data Firehose 作为目标，然后选择您创建的 Kinesis Data Firehose 数据流的 ARN。

图 6 – 创建 VPC 流日志

创建 VPC 流日志后，可能需要几分钟时间才能开始收集数据并将其发布到 Kinesis Data Firehose 数据流。流日志不会捕获网络接口的实时日志流。Kinesis Data Firehose 开始接收数据后，它将汇总数据并将其发送到合作伙伴端点，您可以在他们的解决方案中查看该端点。

清理

为避免将来产生费用，请删除以下资源：

  1. 删除 VPC 流日志。
  2. 删除 Kinesis Data Firehose 数据流。
  3. 删除合作伙伴解决方案中的内容。
  4. 如果您创建了新 VPC 并在该 VPC 中创建了新资源，请删除这些资源和 VPC。

需要了解的内容

可在此处找到 Kinesis Data Firehose 的定价

已售日志的数据摄取和存档费用将适用于 Kinesis Data Firehose 目标。可在此处找到 VPC 流日志限制

结论

Amazon VPC 流日志到 Kinesis Data Firehose 简化了向与 Kinesis Data Firehose 原生集成的日志分析工具分发日志的过程。这降低了运营开销和总拥有成本。您可以立即开始使用它们。要了解更多信息，请访问 VPC 流日志文档