Amazon CloudWatch 推出面向运营、安全和合规的统一数据管理与分析功能

今天我们扩展了 Amazon CloudWatch 功能，通过灵活强大的分析能力，在一个地方统一管理运营、安全和合规应用场景的日志数据，同时减少数据重复和成本。

此改进意味着，CloudWatch 可以自动标准化并处理数据，通过对开放网络安全架构框架（OCSF）和开放遥测（OTel）格式的内置支持，实现跨数据来源的一致性，让您专注于分析与洞察。CloudWatch 还通过 Amazon Simple Storage Service（Amazon S3）表格提供与 Apache Iceberg 兼容的数据访问功能，使您不仅能在本地运行分析，还能使用 Amazon Athena、Amazon SageMaker 融通式合作开发工作室或任何其他兼容 Iceberg 的工具进行数据分析。

您还可以将 CloudWatch 中的运营数据与来自您首选工具的其他业务数据进行关联，以便与其他数据相互印证。这种统一的方法简化了管理，并在安全、运营和业务应用场景之间提供了全面的关联性。

以下是详细改进内容：

• 简化数据摄取与标准化流程：CloudWatch 可自动跨账户和跨 AWS 区域收集 AWS 公开发布的日志，通过与 AWS Organizations 集成，支持 AWS CloudTrail、Amazon Virtual Private Cloud（Amazon VPC）流日志、AWS WAF 访问日志、Amazon Route 53 Resolver 日志等 AWS 服务。此外，它还提供面向第三方来源的预构建连接器，第三方来源涵盖端点（CrowdStrike、SentinelOne）、身份认证平台（Okta、Entra ID）、云安全平台（Wiz）、网络安全平台（Zscaler、Palo Alto Networks）、生产力与协作工具（Microsoft Office 365、Windows 事件日志、GitHub），以及集成 IT 服务管理（ServiceNow CMDB）。为了在数据摄取时进行标准化和处理，CloudWatch 为各种 AWS 和第三方数据来源以及其他处理器（例如 Grok）提供托管的 OCSF 转换，用于自定义解析、字段级操作和字符串处理。
• 降低高昂的日志数据管理成本：CloudWatch 将日志管理整合为单一服务，内置治理功能，无需在不同工具和数据存储中存储和维护多份相同数据的副本。CloudWatch 的统一数据存储消除了对复杂 ETL 管道的需求，降低了维护多个独立数据存储和工具所需的运营成本与管理开销。
• 从日志数据中发掘商业洞察：您可通过单一界面使用自然语言查询及 LogsQL、PPL 和 SQL 等常用查询语言在 CloudWatch 中运行查询，也可以通过兼容 Apache Iceberg 的表格使用首选分析工具查询数据。全新“维面”界面提供按来源、应用程序、账户、区域和日志类型进行直观的筛选，支持通过智能参数推断跨多个 AWS 账户和区域的日志组运行查询。

在接下来的章节中，我们将探索 CloudWatch Logs 的全新日志管理与分析功能！

1.按数据来源和类型发现和管理数据

通过 CloudWatch 控制台中的全新日志管理视图，您可以概览日志及所有数据来源。要开始使用，请前往 CloudWatch 控制台，在左侧导航窗格的日志菜单下选择日志管理。在摘要选项卡中，您可以查看日志数据来源和类型，深入了解日志组在数据摄入和异常方面的表现情况。

选择数据来源选项卡，按数据来源、类型和字段查找和管理日志数据。CloudWatch 会摄取数据来源并将其自动分类为 AWS 服务、第三方或自定义来源（如应用程序日志）。

选择数据来源操作以集成 S3 表格，为所选数据来源生成未来日志。您可通过 Athena、Amazon Redshift 以及 Spark 等兼容 Iceberg 访问模式的其他查询引擎灵活分析日志数据。通过此集成，CloudWatch 的日志可在只读的 aws-cloudwatch S3 表格存储桶中获取。

您选择特定数据来源（如 CloudTrail 数据）后，可查看该数据来源的详细信息，包括数据格式、管道、维面/字段索引、关联的 S3 表格以及该数据来源所包含的日志数量等信息。您可查看此数据来源包含的所有日志组，并利用新版架构支持功能来编辑来源/类型字段索引策略。

要详细了解如何管理您的数据来源和索引政策，请参阅《Amazon CloudWatch Logs User Guide》中的 Data sources 章节。

2.利用 CloudWatch 管道实现摄取和转换

您可以创建管道来简化遥测和安全数据的收集、转换和路由，同时对数据格式进行标准化，从而优化可观测性与安全数据管理。CloudWatch 的全新管道功能可连接来自数据来源目录的数据，因此您可以从库中添加和配置管道处理器，对数据进行解析、丰富和标准化。

在管道选项卡中，选择添加管道。随即会显示管道配置向导。此向导将引导您完成五个步骤：选择数据来源和其他来源详细信息（例如日志源类型）、配置目标、配置多达 19 个处理器对数据执行操作（例如筛选、转换或丰富），最后审核并部署管道。

您还可以选择通过 CloudWatch 中的全新摄取功能创建管道。要详细了解如何设置和管理管道，请参阅《Amazon CloudWatch Logs User Guide》中的 Pipelines 章节。

3.基于数据来源的增强分析和查询

您可以通过支持维面和基于数据来源的查询来增强分析功能。维面功能支持交互式探索和向下钻取日志，其值会根据选定的时间段自动提取。

在左侧导航窗格中日志菜单下的 Log Insights 中选择维面选项卡。您可以在面板中查看显示的可用维面和值。选择一个或多个维面和值，以交互式方式探索数据。我选择有关 VPC 流日志组和操作的维面，通过人工智能查询生成器查询列出 VPC 流日志中最频繁的五种模式，然后获取结果模式。

您可以将查询与所选定的维面及其指定值一并保存。下次选择保存的查询时，要查询的日志会应用预先指定的维面和值。要了解有关维面管理的更多信息，请参阅《Amazon CloudWatch Logs User Guide》中的 Facets 章节。

如前所述，您可以将数据来源集成到 S3 表中并进行联合查询。例如，在 Athena 中使用查询编辑器时，您可以通过将 VPC 流日志与 CloudTrail 日志基于匹配的来源 IP 地址进行联合查询，从而将特定 IP 范围（174.163.137.*）内的网络流量与 AWS API 活动关联起来。

此类综合搜索对安全监控、事件调查及可疑行为检测具有极高价值。您可以查看发起网络连接的 IP 是否也在执行敏感的 AWS 操作，例如创建用户、修改安全组或访问数据。

要了解更多信息，请参阅《CloudWatch Logs User Guide》中的 S3 Tables integration with CloudWatch。

现已推出
Amazon CloudWatch 的全新日志管理功能今日已在除 AWS GovCloud（美国）区域和中国区域之外的所有 AWS 区域上线。有关区域可用性和未来路线图，请访问按区域列出的 AWS 功能。无需预付承诺或支付最低费用，您只需为使用现有 CloudWatch Logs 进行数据摄取、存储和查询的实际用量付费。要了解更多信息，请访问 CloudWatch 定价页面。

不妨在 CloudWatch 控制台中试一试。要了解更多信息，请访问 CloudWatch 产品页面并将反馈发送至 AWS re:Post for CloudWatch Logs，或通过您常用的 AWS Support 联系人发送反馈。

– Channy