开始进行本项目

8 个步骤 | 60 分钟

aws-project_log-analytics
architectural-diagram
arch-diagram_build-log-analytics

日志分析是一种常见的大数据使用案例,让您可以分析来自网站、移动设备、服务器、传感器和其他来源的日志数据,并用于数字营销、应用程序监控、欺诈检测、广告技术、游戏及 IoT 等多种应用场景。在本项目中,您将使用 Amazon Web Services 来构建一个端到端日志分析解决方案,从而收集、提取、处理及加载批量数据和流数据,并让用户在其已有分析系统中近乎实时地使用处理过数据。该解决方案高度可靠、经济高效、可以自动扩展为不同规模的数据卷,并且几乎不需要 IT 管理。

要实现的目标:

在数据源上设置一个 Kinesis 代理,用于收集数据并将其持续发送到 Amazon Kinesis Firehose。

使用 Kinesis Firehose 创建一个端到端数据传输流。传输流会将您的数据从代理传输到目标位置,包括 Amazon Kinesis Analytics、Amazon Redshift、Amazon Elasticsearch Service 和 Amazon S3。

在 Amazon Kinesis Analytics 中使用 SQL 查询来处理传入日志数据

从 Kinesis Analytics 将处理过的数据加载 到 Amazon Elasticsearch Service 以便建立数据索引。

使用 Kibana 分析与显示处理过的数据

开始之前的准备事项:

AWS 账户:您需要一个 AWS 账户来预置资源以便托管您的网站。注册 AWS

IT 经验:您需要基本了解 Web 技术并熟悉 SQL 才能成功完成本项目。

AWS 使用经验:成功完成本项目不要求事先具备 AWS 使用经验。

一个能够生成应用程序日志的现有服务器

 

账单估算:

完成本项目的费用:完成本项目的预计费用为 0.51 USD。这一费用的计算依据是假设您未超出 AWS 免费套餐的限制、采用建议的配置,并在项目完成后 1 小时内终止所有资源。您的使用案例可能需要不同的配置,这会对账单产生影响。请使用简单月度成本结算器来估算与您的需求对应的费用。

月度账单估算:构建并维护日志分析解决方案的总费用会有所不同,具体取决于您的使用量和配置设置。使用本指南建议的默认配置时,每月费用一般为 367.74 USD。要查看使用的服务及其相关费用的详细信息,请参阅使用的服务与费用

开始进行本项目

了解有关 Amazon Web Services (AWS) 上的流数据解决方案的更多信息。 

查看开发人员指南和 API 参考,了解有关 Amazon Kinesis 的更多信息。

需要更多资源才能开始使用 AWS?请访问“入门资源中心”以了解更多信息。