开始本项目

8 个步骤 | 60 分钟

aws-project_log-analytics
architectural-diagram
arch-diagram_build-log-analytics

日志分析是一种常见的大数据使用案例,让您可以分析来自网站、移动设备、服务器、传感器和其他来源的日志数据,并用于数字营销、应用程序监控、欺诈检测、广告技术、游戏及 IoT 等多种应用场景。在本项目中,您将使用 Amazon Web Services 来构建一个端到端日志分析解决方案,从而收集、提取、处理及加载批量数据和流数据,并让用户在其已有分析系统中近乎实时地使用处理过的数据。该解决方案高度可靠、经济高效、可以自动扩展为不同规模的数据卷,并且几乎不需要 IT 管理。

您将完成以下任务:

在数据源上设置一个 Kinesis 代理,用于收集数据并将其持续发送到 Amazon Kinesis Data Firehose。

使用 Kinesis Data Firehose 创建一个端到端数据传输流。传输流会将您的数据从代理传输到目标位置,包括 Amazon Kinesis Data Analytics、Amazon Elasticsearch Service 和 Amazon S3。

在 Amazon Kinesis Data Analytics 中使用 SQL 查询来处理传入日志数据

从 Kinesis Data Analytics 将处理过的数据加载到 Amazon Elasticsearch Service 以便建立数据索引。

使用 Kibana 分析与显示处理过的数据

开始之前的准备事项:

AWS 账户:您需要一个 AWS 账户来预置资源以便托管您的网站。注册 AWS

IT 经验:您需要基本了解 Web 技术并熟悉 SQL 才能成功完成本项目。

AWS 使用经验:没有 AWS 使用经验也可以成功完成本项目。

账单估算:

完成本项目的费用:预计完成本项目需要 0.57 USD。这一费用的计算依据是假设您未超出 AWS 免费套餐的限制、采用建议的配置,并在项目完成后 1 小时内终止所有资源。您的使用案例可能需要不同的配置,这会对账单产生影响。请使用定价结算器来估算自身需求对应的费用。

月度账单估算:构建并维护日志分析解决方案的总费用会有所不同,具体取决于您的使用量和配置设置。使用本指南建议的默认配置时,每月费用一般为 382.45 USD。要查看使用的服务及相关费用的明细,请参阅使用的服务与费用

开始进行本项目

了解有关 Amazon Web Services (AWS) 上的流数据解决方案的更多信息。 

查看开发人员指南和 API 参考,了解有关 Amazon Kinesis 的更多信息。

需要更多资源才能开始使用 AWS? 请访问“入门资源中心”了解更多信息。