使用 Amazon Kinesis 和 OpenSearch Service 收集、处理和分析日志数据构建日志分析解决方案

日志分析是一种常见的大数据使用场景，能让您分析来自网站、移动设备、服务器、传感器等的日志数据，适用于数字营销、应用程序监控、欺诈检测、广告技术、游戏和物联网 (IoT) 等各种应用程序。在本项目中，您将使用 Amazon Web Services 构建一个端到端的日志分析解决方案，该解决方案可以收集、摄取、处理和加载批量数据和流数据，并在用户已使用的分析系统中近实时地向用户提供已处理的数据。该解决方案高度可靠、性价比高，可根据不同的数据量自动扩展，而且几乎不需要 IT 管理。

• 在数据源上设置 Kinesis Agent，以收集数据并持续将其发送到 Amazon Kinesis Data Firehose。
• 使用 Kinesis Data Firehose 创建端到端的数据传输流。传输流将把数据从代理传输到目的地，包括 Amazon Managed Service for Apache Flink、Amazon OpenSearch Service 和 Amazon S3。
• 在 Amazon Managed Service for Apache Flink 中使用 SQL 查询处理传入的日志数据。
• 将来自 Kinesis Data Analytics 的已处理数据加载到 Amazon OpenSearch Service 中，以编制数据索引。
• 使用 Kibana 分析并可视化已处理数据。

• 问：此项目架构如何帮助我轻松启动强大的日志分析解决方案？
  
  只需在 AWS 管理控制台中轻点几下鼠标，您就可以使用我们提供的一系列服务来构建解决方案，并在几分钟内将原始数据转化为真正的洞察。由于这些服务都是托管的，您无需在规划、预配和管理基础设施上花费时间和金钱，而是能专注于业务问题。
  
  
• 问：为什么要在 Amazon Managed Service for Apache Flink 上运行日志分析？
  
  Amazon Managed Service for Apache Flink 非常适合日志分析使用场景，因为它能够轻松处理非结构化数据，自动推断数据的结构和格式，并推荐模式。通过 Amazon Managed Service for Apache Flink，您只需要标准的 SQL，就可以立即开始查询数据，获得实时洞察。
  
  
• 问：除了日志分析，我还可以在 Amazon Managed Service for Apache Flink 上运行哪些其他使用场景？
  
  如果您需要实时持续收集数据，希望在几秒或几分钟内获取信息和见解，而非必须等待几天甚至几周，那么您可以在几乎所有此类使用场景中使用 Kinesis Data Analytics。值得强调的是，Kinesis Data Analytics 有助于快速构建用于日志分析、点击流分析、物联网 (IoT)、广告技术、游戏等的端到端流处理应用程序。最常见的三种使用模式是时间序列分析、实时控制面板以及实时警报和通知。