开始进行本项目

8 个步骤 | 60 分钟

完成本项目的费用:完成本项目的预计费用为 0.51 USD。这一费用的计算依据是假设您未超出 AWS 免费套餐的限制、采用建议的配置,并在项目完成后 1 小时内终止所有资源。您的使用案例可能需要不同的配置,这会对账单产生影响。请使用简单月度成本结算器来估算与您的需求对应的费用

月度账单估算:构建并维护日志分析解决方案的总费用会有所不同,具体取决于您的使用量和配置设置。使用本指南建议的默认配置时,每月费用一般为 367.74 USD。

AWS 定价基于您对各项服务的使用量。每种服务的总使用量将产生月度账单。探索下面的选项卡以了解每种服务的用途及其如何影响您的账单。

  • Amazon Kinesis Firehose

    产品描述:Amazon Kinesis Firehose 是一项完全托管的服务,用于将实时流数据传输到 Amazon S3、Amazon Redshift 或 Amazon ES 等目标位置。使用 Firehose 时,您无需编写任何应用程序或管理任何资源。您可以配置数据来源,使其向 Firehose 发送数据,然后 Firehose 会将数据自动传输到您指定的目标位置。

    定价原则:Amazon Kinesis Firehose 的定价基于注入 Amazon Kinesis Firehose 的数据量,其计算方式为发送至该服务的数据记录数量乘以每条记录的大小 (向上取整为 5KB 的倍数)。例如,如果每条数据记录的大小为 42KB,则 Amazon Kinesis Firehose 会将其计为 45KB 的注入数据。在美国东部区域,Amazon Kinesis Firehose 的价格是每 GB 注入数据 0.035 USD。有关定价的详细信息,请参阅 Amazon Kinesis Firehose 定价

    费用示例:在本教程中,您将创建两个单独的 Amazon Kinesis Firehose 传输流。一个从 Apache 访问日志创建程序接收数据,另一个从 Amazon Kinesis Analytics 应用程序接收输出。

    对于第一个 Firehose 传输流,假设创建程序每秒发送 500 条记录,并且每条记录都小于 5KB (这是 Apache 访问日志记录的典型大小)。注入 Firehose 传输流的数据的月度估算费用包含以下内容:

    • 美国东部区域的价格是每 GB 注入数据 0.035 USD。
    • 记录大小向上取整为 5KB 的倍数,即 5KB
    • 注入的数据 (GB/秒) = (500 条记录/秒 * 5KB/记录)/1048576KB/GB = 0.002384GB/秒
    • 注入的数据 (GB/月) = 30 天/月 * 86400 秒/天 * 0.002384GB/秒 = 6179.81GB/月
    • 月度费用:6179.81 * 0.035 USD/GB = 216.29 USD
    • 小时费用:在本教程中,假设系统注入数据的时间为 1 小时。本教程涉及的费用约为 0.3 USD。

     

    第二个 Firehose 传输流以非常低的频率接收记录。由于 Amazon Kinesis Analytics 应用程序每分钟只输出几行数据,因此该传输流的费用相应较低。假设每分钟只注入五条记录,并且每条记录都小于 5KB,则在本教程假设的 1 小时内,该传输流的费用为 0.00005 USD。

  • Amazon Kinesis Analytics

    产品描述:Amazon Kinesis Analytics 是使用 ANSI 标准 SQL 实时处理和分析流数据的最简单的方法。它能够使您从 Amazon Kinesis Streams 和 Amazon Kinesis Firehose 读取数据,而且一提取到数据,它就会构建用于筛选、转换和整合数据的流处理查询。Amazon Kinesis Analytics 自动识别标准数据格式、解析数据并展示架构,这样便可以使用交互式架构编辑器进行编辑。它提供交互式 SQL 编辑器和流处理模板,这样您就可以在几分钟内编写好复杂的流处理查询。Amazon Kinesis Analytics 会持续运行查询,并将处理结果写入 Amazon Kinesis Streams 和 Amazon Kinesis Firehose 等输出目标,而后者会将数据传输到 Amazon S3、Amazon Redshift 和 Amazon ES。Amazon Kinesis Analytics 可以自动预置、部署和扩展运行查询所需的资源。

    定价原则:使用 Amazon Kinesis Analytics,您只需按实际用量付费。我们根据用于运行流处理应用程序的 Kinesis 处理单元 (KPU) 的平均数量,按小时收取费用。

    单个 KPU 是流处理容量的一个单元,该容量由 4GB 内存、1 个 vCPU 计算单元和相应的联网功能组成。由于查询的复杂程度有所差异,且响应中的内存和计算需求不尽相同,因此 Amazon Kinesis Analytics 将自动弹性扩展完成分析所需的 KPU 数量。使用 Amazon Kinesis Analytics 无需预置资源,没有前期成本或最低费用。

    费用示例:本示例假设系统在美国东部区域运行 6 个小时。本教程中的 SQL 查询是非常基本的查询,占用的 KPU 数量不会多于一个。Amazon Kinesis Analytics 在美国东部的价格是每 KPU 每小时 0.11 USD,本教程运行 6 小时,则 Amazon Kinesis Analytics 的总使用费为 0.66 USD。

  • Amazon Elasticsearch Service

    产品描述:Amazon ES 是一种常见的开源搜索和分析引擎,可以用于日志和点击流分析等大数据使用案例。Amazon ES 可以为您处理 Elasticsearch 集群的容量、扩展、修补和管理,同时让您可以直接访问 Elasticsearch API。

    定价原则:使用 Amazon ES,您只需按实际用量付费。无最低费用,无前期承诺。我们根据 Amazon Elasticsearch 实例小时数和使用的 Amazon Elastic Block Store (EBS) 卷 (如果您选择该选项) 来收取费用,同时收取标准数据传输费。有关更多信息,请参阅 Amazon Elasticsearch Service 定价

    费用示例:对于本教程,假设您创建 Amazon ES 域时选择默认配置,则总费用的计算方式为:m3.medium.elasticsearch 实例类型的费用 0.094 USD/小时 * 1 小时 = 0.094 USD。

  • Amazon S3

    产品描述:Amazon S3 可以为构成应用程序的对象提供安全、持久并且高度可扩展的云存储服务。您可以存储的对象包括源代码、日志、图象、视频及您在部署应用程序时创建的其他项目。借助 Amazon S3,您可以通过简单的 Web 界面轻松使用对象存储在 Web 上的任何位置存储和检索文件,这意味着您的网站具有可靠性,所有访客均能访问。

    定价原则:Amazon S3 的定价基于五项因素:您使用的 S3 存储的类型、网站内容的存储位置 (例如美国东部及悉尼等亚太地区)、存储量、您或您的用户为存储新内容或检索已有内容而发出的请求的数量以及从 S3 传输到您或您的用户的数据量。由于您需要使用 Amazon CloudFront 来分发内容,因此您的 S3 费用将根据存储计算。有关更多信息,请参阅 Amazon S3 定价

    费用示例:在美国东部区域使用标准存储,如果您存储 5GB 的内容,则每月需支付 0.15 USD。如果您的账户的创建时间是过去 12 个月内,则您可以享受 AWS 免费套餐,每月不需要支付任何费用。在本教程中,假设数据来源创建的数据为 5GB。在教程的 6 小时时间内,在 Amazon S3 中存储记录的总费用为 0.00125 USD。

  • Amazon EC2

    产品描述:Amazon EC2 可以提供称为“实例”的虚拟应用程序服务器,用于在您选择的平台上运行 Web 应用程序。EC2 让您能够轻松地配置和扩展计算容量,以便满足不断变化的要求和需求。它与 Amazon 成熟的计算环境相集成,让您可以利用各种 AWS 服务套件。

    定价原则:Amazon EC2 的定价基于四项因素:您选择的实例类型 (EC2 提供 40 多种实例类型,各种类型均具有针对计算、内存及存储等方面优化过的选项)、实例所处的区域、运行的软件以及您选择的定价模式 (按需实例、预留实例、竞价型实例等)。有关更多信息,请参阅 Amazon EC2 定价

    费用示例:假设您的日志文件驻留在美国东部区域的单个 Linux t2.nano EC2 实例中。使用按需定价模式,虚拟机的每月费用为 4.68 USD。在本实施指南中,假设生成日志的实例运行 1 个小时,则预计 EC2 费用为 0.0065 USD。

开始进行本项目