Amazon MSK 定价

  • 预置 MSK
  • MSK Provisioned 提供两种类型的代理:1) Express 代理旨在让 Apache Kafka 更易于管理,每个代理可提供高达 3 倍的吞吐量,纵向扩展速度提高多达 20 倍,恢复时间缩短 90%(与标准代理相比);2) 标准代理提供最大的灵活性和控制选择。 

    Express 代理

    您按小时支付 Express 代理实例使用费(按一秒分辨率计费),具体费用取决于 Amazon MSK 集群中代理实例的大小和数量。请参阅代理实例定价表,了解详细信息。您还需要为集群中使用的存储量付费。此费用的计算方式为,将每小时存储的 GB 相加,并除以当月的总小时数,从而得出以“GB-月”为单位的值。如定价示例所示。有关详细信息,请参阅代理存储定价表。您还需要为写入 Express 代理的数据支付每 GB 费率(按字节分辨率计费)。 

    无需为代理之间或元数据节点与代理之间的复制所使用的数据传输量付费。您需要为 Amazon MSK 集群的传入和传出数据支付标准的 AWS 数据传输费用。 

    如果需要将一个或多个 VPC 中的 Kafka 客户端连接到不同 VPC 中的 MSK 集群,也可以启用私有连接(由 AWS PrivateLink 提供支持)。使用此功能,您需要为每个开启私有连接的集群和身份验证方案支付小时费率。客户使用身份验证方案对客户端向 MSK 集群发出的请求进行身份验证。此外,您还需要为通过私有连接处理的每 GB 数据付费。您需要支付标准 AWS PrivateLink 费用


    标准代理

    您按小时支付 Apache Kafka 代理实例使用费(按一秒分辨率计费),具体费用取决于代理实例的大小和 Amazon MSK 集群中的活动代理。请参阅代理实例定价表,了解详细信息。

    您还应根据集群中预置的存储量付费。此费用的计算方式为:将每小时预置的存储量(GB)相加,再除以当月的小时总数,从而得出“GB-月”值,如定价示例所示。有关详细信息,请参阅代理存储定价表。您还可以选择单独预置额外的存储吞吐量,按照每月预置的 MB/s 量付费。此费用的计算方式为,将每个代理每小时预置的 MB/s 量相加,并除以该月的总小时数,得到以“MB/s-月”为单位的值,如(可选)“预置存储吞吐量示例”中所示。无需为代理之间或元数据节点与代理之间的复制所使用的数据传输量付费。您需要为 Amazon MSK 集群的传入和传出数据支付标准的 AWS 数据传输费用。 

    如果需要将一个或多个 VPC 中的 Kafka 客户端连接到不同 VPC 中的 MSK 集群,也可以启用私有连接(由 AWS PrivateLink 提供支持)。使用此功能,您需要为每个开启私有连接的集群和身份验证方案支付小时费率。客户使用身份验证方案对客户端向 MSK 集群发出的请求进行身份验证。此外,您还需要为通过私有连接处理的每 GB 数据付费。您将为 Apache Kafka 客户端用于私密连接到集群的 Amazon MSK 托管 VPC 连接支付标准的 AWS PrivateLink 费用。

    示例 1(标准代理)

    如果三个 kafka.m7g.larges 在美国东部(弗吉尼亚州北部)AWS 区域处于活动状态,而且您的代理在三月份的前 15 天使用了 1TB 的存储空间,在三月份的最后 16 天使用了 2TB 的存储空间,则您三月份需要支付以下费用:

    总费用 =(代理实例费用)+(存储费用)

    费用 用量 费率 小计

    代理实例费用(实例用量,以小时为单位)

    31 天 x 24  小时/天 x 3 个代理 = 2232 小时

    0.204 美元(kafka.m7g.large 的每小时价格  )

    2232 小时 * 0.204 美元 = 455.33 美元

    以 GB-月为单位的存储费用

    1. 计算 GB 小时数:(1000 GB  * 15 天 * 24 小时/天)+ (2000 GB  * 16 天  *(24  小时/天))= 1128000 GB-小时
    2. 计算 GB-月数: 1128000 GB 小时 / 24 小时 / 31 天 = 1516.13 GB-月

    0.10 美元(美国东部区域每 GB-月的价格   )

    1516.13 GB-月 * 0.10 美元 = 151.61 美元

    总计 = 455.33 美元 + 151.61 美元 = 606.94 美元

    *此工作负载反映摄取速率为 100 KB/秒 且保留 24 小时、复制因子为 2 时的情况。将产生数据传输费用,预计此工作负载的费用为每月 5 美元。

    示例 2(标准代理)

    如果三个 kafka.m5.large 在美国东部(弗吉尼亚州北部)AWS 区域处于活动状态,而且您的代理在三月份的前 15 天使用了 1TB 的存储空间,在三月份的最后 16 天使用了 2TB 的存储空间,则您三月份需要支付以下费用:

    总费用 =(代理实例费用)+(存储费用)

    费用 用量 费率 小计

    代理实例费用(实例用量,以小时为单位)

    31 天 x 24  小时/天 x 3 个代理 = 2232 小时

    0.21 美元(kafka.m5.large 的每小时价格  )

    2232 小时 × 0.21 美元  = 468.72 美元

    以 GB-月为单位的存储费用

    1. 计算 GB 小时数:(1000 GB  * 15 天 * 24 小时/天)+ (2000 GB  * 16 天  *(24  小时/天))= 1128000 GB-小时
    2. 计算 GB-月数: 1128000 GB 小时 / 24 小时 / 31 天 = 1516.13 GB-月

    0.10 美元(美国东部区域每 GB-月的价格   )

    1516.13 GB-月 * 0.10 美元 = 151.61 美元

    总计 = 468.72 美元 + 151.61 美元 = 620.33 美元

    示例 3(标准代理)

    假设您在美国东部(弗吉尼亚州北部)AWS 区域中有三个处于活动状态的 kafka.m5.large 实例。您希望总共保留数据 30 天,其中 1 天的数据位于主存储中。您要按 2 MB/s 的速率将数据摄取到集群中。您希望为实时处理提供 1 TB 的主存储,并将最近 30 天的数据存储在低成本层中。您还希望通过一个应用程序读取存储在低成本层中的所有数据。

    总费用 =(代理实例费用)+(主存储费用)+(低成本层费用)+(低成本层检索费用)

    费用 用量 费率 小计

    代理实例费用(实例用量,以小时为单位)

    31 天 x 24 小时/天 x 3 个代理 = 2232 小时

    0.21 美元(kafka.m5.large 的每小时价格)

    2232 小时 x 0.21 美元 = 468.72 美元

    以 GB-月为单位的存储费用

    计算 GB 月数:744000 GB-小时 / 24 小时 / 31 天 = 1000 GB-月

    0.10 美元(美国东部区域每 GB-月的价格)

    1000 GB-月 * 0.10 美元 = 100 美元

    以 GB-月为单位的低成本层存储费用

    1. 计算字节小时数。根据 2 MB/s 的摄取速率,您将在一小时内累积 7549747200 字节(2 x 1024 x 1024 x 3600)。一个月的总字节小时用量为(7549747200 x 30 天 x 24 小时/天 = 5435817984000 字节小时。

    0.060 美元(美国东部区域每 GB-月的价格)

    我们每 GB-月收费 0.060 美元。因此 30 天保留期的总存储成本 = 5062.5 x 0.06 美元 = 303.75 美元

    2. 将其转换为 GB-月 5435817984000 字节小时/每 GB 1073741824 字节 = 每月 5062.5 GB。

    低成本层数据检索费用

    由于您要存储 5062 GB 并使用单个应用程序检索所有数据,因此您将读取 5062 GB 的数据。

    0.0015 美元,美国东部区域每 GB 的价格)

    我们收取每 GB 0.0015 美元。总检索费用 = 5062 x 0.0015= 7.9 美元


    示例 4(Express 代理)

    如果您在美国东部(弗吉尼亚州北部)AWS 区域有三个活跃的 express.m7g.larges,并且在 3 月的 31 天内摄取并存储了 1TB 的数据,那么您当月需要支付以下费用:

    总费用 =(代理实例费用)+(数据输入费用)+(存储费用)

    费用 用量 费率 小计

    代理实例费用(实例用量,以小时为单位)

    31 天 * 24 小时/天 * 3 个代理 = 2232 小时

    0.408 美元(msk.m7g.large 每小时的价格)

    2232 小时 * 0.408 美元 = 910.66 美元

    数据摄取费用(以 GB 为单位)

    1000 GB

    0.01 美元(摄取每 GB 数据的价格)

    1000 GB* 0.01 美元 = 10 美元

    以 GB-月为单位的存储费用

    1000 GB-月

    0.10 美元(美国东部区域每 GB-月的价格) 1000 GB-月 * 0.10 美元 = 100.00 美元
    总计 = 910.66 美元 + 10 美元 + 100 美元 = 1020.66 美元

    (可选)预置存储吞吐量示例

    如果选择于美国东部(弗吉尼亚州北部)AWS 区域在带有 3 个代理的 Amazon MSK 集群中开启预置存储吞吐量,并且预置 300 MB/s 的存储吞吐量长达 31 天,则需要在代理实例和存储费用的基础上支付以下额外费用(如上述示例所示):

    总费用 =(代理实例费用)+(存储费用)+(预置存储吞吐量费用)

    费用 用量 费率 小计

    以“MB/s-月”为单位的预置存储吞吐量费用

    3 个代理 * 300 MB/s = 900 MB/s-月

    0.08 美元(美国东部区域每 MB/s-月的价格  )

    900 MB/s-月 * 0.08 美元 = 72 美元

    (可选)多 VPC 私有连接示例

    如果您的生产者和消费者位于与您的 Amazon MSK 集群(在美国东部(弗吉尼亚州北部)AWS 区域中有 3 个代理)不同的 VPC 或 AWS 账户中,并且您以 2 MB/s 的速度摄取数据,且有 2 个消费者读取所有数据,您可以选择开启多 VPC 私有连接,以启用跨 VPC 连接性。除了上例所示的代理实例和存储费用外,您还需要支付以下额外费用:

    MSK 总费用 =(代理实例费用)+(主存储费用)+(多 VPC 私有连接费用)。

    费用 用量 费率 小计

    多 VPC 私有连接每小时费用

    计算每种身份验证方案的私有连接时间(小时)。由于您在 3 节点集群上使用 1 个身份验证方案,因此您将在 31 天内支付 1 个单位的私有连接费用。私有连接总小时数 = 1 个单位的私有连接 x 一个月 730 小时 = 730 个私有连接小时

    每个私有连接-小时-身份验证方案 0.0225 美元

    我们对每次身份验证的每小时私有连接收取 0.0225 美元。

    固定私有连接费用 = 730 x 0.0225 = 16.43 美元

    多 VPC 私有连接数据处理费用
    计算已处理的 GB 数。由于您的总处理量为 6 MB/s(1 个生产者 + 2 个消费者 = 21 GB/小时)

    处理每 GB 数据 0.006 美元

    对于处理的每 GB 数据,我们收取 0.006 美元的费用。

    可变数据处理费用 = 21.6 x 0.006 x 730 = 94.62 美元

  • MSK Serverless
  • 使用 MSK Serverless,您要为您的无服务器集群支付小时费率和您所创建的每个分区的小时费率。此外,您为生产者写入和消费者从集群中的主题读取的每 GB 数据付费。Amazon MSK 只对您消耗的存储空间收费。

    您需要为传入和传出另一个区域的数据以及传到公共网络的数据支付标准的 AWS 数据传输费用。

    示例 

    假设您在美国东部(俄亥俄州)AWS 区域创建了一个 MSK Serverless 集群。集群有 5 个主题,每个主题有 20 个分区。每天,您的生产者平均写入100 GB 的数据,而您的消费者读取 200 GB 的数据。您还将该数据保留 24 小时,确保其可用于重播。在上述情况下,您将支付一个 31 天月份的费用:

    总计=每小时群集费用+每小时分区费用+数据导入费用+数据输出费用+存储费用

    费用 用量 费率(在美国东部) 小计

    集群-小时

    31 天 x 24 小时/天 = 744 集群-小时

     0.75 美元/集群-小时

    744 x 0.75 = 558.00 美元

    分区-小时

    31 天 x 24 小时/天 x 5 x 20 = 74400 分区-小时

    0.0015 美元/分区-小时

    74400 x 0.0015 = 111.60 美元

    数据导入

    100 GB x 31 天 = 3100 GB

    0.10 美元/GB-导入

    3100 x 0.10 美元 = 310.00 美元

    数据输出

    200 GB x 31 天 = 6200 GB

    0.05 美元/GB-输出

    6200 x 0.05 美元 = 310.00 美元

    存储

    平均使用存储空间=100 GB-月

    0.10 美元/GB-月

    100 x 0.10 美元 = 10.00 美元

    总计 = 558 美元 + 111.6 美元 + 310 美元 + 310 美元 + 10 美元 = 1299.60 美元
  • MSK Connect
  • 您按小时支付连接器使用费(以一秒分辨率计费),不同的费用取决于为连接器使用的 Worker 节点数量和每个 Worker 节点的大小,以 MSK Connect Unit(MCU)的数量来衡量。每个 MCU 提供 1 个 vCPU 的计算和 4GB 内存。请参阅定价表了解详细信息。

    示例

    我们说您使用 Amazon MSK Connect 将数据从 Amazon MSK 集群中的一个主题流传输到位于美国东部(弗吉尼亚州北部)AWS 区域的一个 Amazon Simple Storage Service(S3)存储桶中,且您的连接器配置如下:
    在二与四个 Worker 节点之间自动扩展,每个 Worker 节点使用 1 MCU。在工作日(八小时),连接器横向扩展到四个 Worker 节点,在工作日结束后(16 小时),它缩减到两个工件。

    这种情况下,您这个月需要支付以下费用:

    总费用 = Apache Kafka Connect Worker 节点费用

    费用 用量 费率 小计

    Apache Kafka Connect Worker 节点费用(MCU,以小时为单位)

    31 天 * [(8 小时/天 * 4 个 Worker 节点 x 1 个 MCU/工作程序)+(16 小时/天 * 2 个 Worker 节点 x 1 个 MCU/工作程序)] =  1984 小时

     0.11 美元(每个 MCU 的每小时价格)

    1984 小时 x 0.11 美元 = 218.24 美元

    总计 = 218.24 美元
  • MSK 复制器
  • 使用 MSK 复制器,您需要按照小时费率为创建的每个复制器付费。复制器包含一个源集群、一个目标集群和一些可选设置。您可以将源集群中的所有主题包含在单个复制器中,但须符合受支持的 MSK 复制器配额。可以在同一个源和目标 MSK 集群之间创建多个复制器。MSK 复制器支持跨区域(CRR)和同区域复制(SRR)。

    此外,您需要按使用 MSK 复制器处理的每 GB 数据(包括元数据)付费。MSK 复制器处理的数据包括 MSK 复制器接收的所有数据,其中包括复制到目标集群的数据以及 MSK 复制器筛选的数据(仅当您的复制器配置了“相同”主题名称配置时),以防止将数据复制回同一来源主题。您可以在 Amazon CloudWatch 中使用“ReplicatorBytesInPerSec”指标跟踪处理的总数据量,并使用“ReplicatorThroughput”指标跟踪复制的数据量。如果您的复制器使用“前缀”主题名称进行配置,则这两个指标将具有相同的值,因为 MSK 复制器不会筛选任何数据。

    对于 CRR,您还需要为源和目标 AWS 区域之间的跨区域数据传输支付标准 AWS 费用。SRR 不收取数据传输费用。

    示例 

    假设您要将数据从位于美国西部(俄勒冈州)的 Amazon MSK 集群复制到位于美国东部(弗吉尼亚州北部)AWS 区域的 Amazon MSK 集群。您正在按 50MB/s 的速率向源集群摄取数据,并希望在 30 天内连续复制数据。

    复制费用总额 = 复制器每小时费用 + 数据处理费用 + 数据传输费用 + 源 MSK 集群的多 VPC 私有连接费用

    费用 用量 费率  小计

    复制器-小时

    720 小时

     每小时 0.30 美元

    720 * 0.3 = 216 美元

    已处理数据

    126562.5 GB

    0.08 美元/GB

    126562.5 * 0.08 = 10125 美元

    数据传输费

    126562.5 GB

    0.02 美元/GB

    126562.5 * 0.02 美元 = 2531 美元

    多 VPC 私有连接每小时费用

    720 小时

    每小时 0.0225 美元

    16 美元

    多 VPC 私有连接数据处理费用

    126562.5 GB

    0.006 美元/GB

    759 美元

    总费用 = 13647 美元
  • 数据交付
  • 当您将数据从 Amazon MSK 传输到 S3 表类数据存储服务中的流式传输表或 Amazon S3 中的通用存储桶时,您需要为从 Apache Kafka 主题传输到目标的数据量付费。没有设置费、最低承诺或前期费用。定价因目的地类型而异。

    Amazon MSK Express 代理会持续将 Apache Kafka 主题物化为 Amazon S3 表类数据存储服务上的 Apache Iceberg 表,其中包含智能内联压缩和内置写入器协调,且不额外收费。与自管理部署相比,此原生能力可将摄取数据并交付到 Amazon S3 表类数据存储服务的成本降低最多 60%,并通过消除拖慢 Apache Spark、Trino 和 Apache Flink 等查询引擎的小文件开销,将下游查询成本降低最多 30%。您按每 GB 费率支付交付到流式表的数据费用,并按字节粒度计费。目标表存储桶适用标准 Amazon S3 表类数据存储服务存储、请求和维护费用。此能力执行的代理出口、内联压缩或写入器协调不收取额外费用。

    Amazon MSK Express 代理将 Apache Kafka 数据交付到 Amazon S3 通用存储桶,这是一项完全托管、原生且可随工作负载需求自动扩缩的能力。由于交付在 Express 代理上运行,无需预置额外出口吞吐量,客户可避免扩展基于连接器的管道所带来的增量基础设施成本,并且与自管理替代方案相比,可将摄取和交付成本降低最多 60%。您按每 GB 费率支付交付到 Amazon S3 的数据费用,并按字节粒度计费。目标存储桶适用标准 Amazon S3 存储、请求和数据传输费用。此能力使用的代理出口不收取额外费用,也不收取单独的连接器、Worker 节点或 MCU 费用。

    示例 1:Apache Iceberg 的流式传输表

    一位客户每天以 Apache Iceberg 格式将 500 GB 数据从 3 个 Kafka 主题流式传输到 S3 表类数据存储服务。

    费用
    用量
    费率
    小计
    数据交付

    500 GB/天 × 30 天 = 15000 GB(14.65 TB) 

    每 TB 10.00 美元

    14.65 TB x 10.00 美元 = 146.48 美元

    月度总费用 = 146.48 美元

    示例 2:通用型 Amazon S3 的数据传输

    一位客户每天以 JSON 格式将 1 TB 数据从 Kafka 主题流式传输到 S3 存储桶。

    费用
    用量
    费率
    小计
    数据交付

    1 TB/天 × 30 天 = 30 TB

    8.00 美元/TB

    30 TB x 8.00 美元 = 240.00 美元

    每月总费用 = 240.00 美元

    * 收取标准 AWS 数据传输费用。对于路由到死信队列(DLQ)的传输失败尝试,您无需单独付费;只有成功传输的数据才会计费。