使用 Amazon Data Firehose,您只需依照導入此服務的資料量支付費用。沒有設定費用或前期承諾。Data Firehose 有四種按需使用方式:擷取、格式轉換、VPC 傳遞和動態分割。可能須支付額外的數據傳輸費。
Direct PUT 和 KDS 作為來源擷取
Firehose 串流的基本功能是擷取和交付。擷取定價採分級定價,並以 5KB 遞增下擷取的每 GB 進行計費 (3KB 記錄按 5KB 計費,12KB 記錄按 15KB 計費,以此類推)。除非使用可選功能,否則不會為交付收取額外的 Data Firehose 費用。
MSK 作為來源擷取
Firehose 串流的基本功能是擷取和交付。擷取定價會分層,並按所輸入的 GB 計費,不會有 5KB 的增量。定價會分層,並依據擷取的位元組和交付的位元組之間的較高值按 GB 計費。計費以資料量為基礎,記錄大小未進行四捨五入。
Vended Logs 作為來源擷取
對於源自 Vended Logs 的記錄,擷取定價分層,按擷取的每 GB 資料計費,不會有 5KB 的增量。
格式轉換 (選擇性)
您可以根據增量 5KB 的 GB 以每 GB 的速率啟用 JSON 到 Apache Parquet 格式或 Apache ORC 格式轉換。
VPC 交付 (選擇性)
對於目的地位於 Amazon VPC 內的 Firehose 串流,會依照在 VPC 中交付至目的地的資料量,以及您的 Firehose 串流在各可用區域內作用的每小時向您計收費用。未滿一小時的部分按一小時計費。
Amazon S3 交付的動態分割 (選用)
您可啟用動態分割,透過分割記錄中的索引鍵 (例如“customer_id”) 來持續對資料分組,並將依分割索引鍵分組的資料交付至相應的 Amazon S3 前綴。使用動態分割時,依據透過動態分割處理的資料量,以及每個交付至 Amazon S3 的物件計費。如果您使用 JQ 剖析器進行動態分割,則依據 JQ 剖析處理按小時計費。
CloudWatch Logs 解壓縮 (選用)
對於來自 CloudWatch Logs 的記錄,若啟用解壓縮,則解壓縮定價將依解壓縮的每 GB 計費。
Snowflake 設定為目的地
針對將 Snowflake 設定為目的地的 Firehose 串流,將依據處理到目的地的資料量計費。定價按所輸入的 GB 計費,不會有 5KB 的增量。定價依據擷取的位元組和交付的位元組之間的較高值定價。
Apache Iceberg 資料表設定為目的地
針對將 Apache Iceberg 資料表設定為目的地的 Firehose 串流,將依據處理到目的地的資料量計費。定價按所輸入的 GB 計費,不會有 5KB 的增量。如果由於自訂 Lambda 處理而導致交付前處理的位元組大於擷取的位元組,則額外的位元組也會計費。依據 Apache Iceberg 資料表的來源,以及所有擷取來源的目的地 (包括 Direct PUT),額外的位元組計費費率與 Kinesis Data Streams 中所示費率相同。
-
Direct PUT
-
Kinesis Data Stream 設定為來源
-
Vended Logs 設定為來源
-
MSK 設定為來源
-
Direct PUT
-
-
Apache Iceberg 資料表設定為目的地
-
Snowflake 設定為目的地
-
其他目的地
-
Apache Iceberg 資料表設定為目的地
-
-
Snowflake 設定為目的地
-
-
其他目的地
-
-
-
Kinesis Data Stream 設定為來源
-
-
Apache Iceberg 資料表設定為目的地
-
Snowflake 設定為目的地
-
其他目的地
-
Apache Iceberg 資料表設定為目的地
-
-
Snowflake 設定為目的地
-
-
其他目的地
-
-
-
Vended Logs 設定為來源
-
-
Apache Iceberg 資料表設定為目的地
-
其他目的地
-
Apache Iceberg 資料表設定為目的地
-
-
其他目的地
-
-
-
MSK 設定為來源
-
-
Apache Iceberg 資料表設定為目的地
-
其他目的地
-
Apache Iceberg 資料表設定為目的地
-
-
其他目的地
-
-
定價範例
Direct PUT 和 KDS Ingestion 的擷取定價
記錄大小 3 KB 進位到最接近的 5 KB 擷取大小 = 5 KB
最初 500 TB/月的價格 = 每 GB 0.029 USD
擷取資料計費 GB 數 = (100 筆記錄/秒 * 5 KB/記錄)/1,048,576 KB/GB * 30 天/月 * 86,400 秒/天 = 1,235.96 GB
每月擷取費用 = 1,235.96 GB * 0.029 USD/GB = 35.84 USD
作為來源的 MSK 擷取定價
記錄大小為 2KB (無增量 5KB)
最初 500 TB/月的價格 = 每 GB 0.055 USD
擷取資料計費 GB 數 (假設與交付資料相同的資料量) = (100 筆記錄/秒 * 2 KB/記錄) / 1,048,576 KB/GB * 30 天/月 * 86,400 秒/天 = 494.38 GB
每月資料量費用 = 494.38 GB * 0.055 USD/GB = 27.19 USD
Vended Logs 作為來源的擷取定價
記錄大小為 0.5KB (500 位元組) = 0.5KB (無增量 5 KB)
最初 500 TB/月的價格 = 每 GB 0.13 USD
要支付擷取費用的 GB 數 = (100 筆記錄/秒 * 0.5 KB/記錄) / 1,048,576 KB/GB * 30 天 / 月 * 86,400 秒/天 = 123.59 GB
每月擷取費用 = 123.59 GB * 0.13 USD/GB = 16.06 USD
Snowflake 設定為目的地的定價
記錄大小為 0.5 KB (500 位元組) = 0.5 KB (無增量 5 KB)
傳遞到 Snowflake 的每 GB 價格 = 每 GB 0.071 USD
要支付擷取費用的 GB 數 = (100 筆記錄/秒 * 0.5 KB/記錄) / 1,048,576 KB/GB * 30 天 / 月 * 86,400 秒/天 = 123.59 GB
每月擷取費用 = 123.59 GB * 0.13 USD/GB = 8.77 USD
Apache Iceberg 資料表設定為目的地的定價
記錄大小為 0.5 KB (500 位元組) = 0.5 KB (無增量 5 KB)
Kinesis Data Streams 設定為來源傳遞至 Apache Iceberg 資料表的每 GB 價格 = 每 GB 0.045 USD
要支付擷取費用的 GB 數 = (100 筆記錄/秒 * 0.5 KB/記錄) / 1,048,576 KB/GB * 30 天 / 月 * 86,400 秒/天 = 123.59 GB
每月擷取費用 = 123.59 GB * 0.045 USD/GB = 5.56 USD
格式轉換定價:從 JSON 到 Parquet 或 ORC (選用)
記錄大小為 0.5 KB (500 位元組) = 0.5 KB (無增量 5 KB)
最初 500 TB/月的價格 = 每 GB 0.13 USD
要支付擷取費用的 GB 數 = (100 筆記錄/秒 * 0.5 KB/記錄) / 1,048,576 KB/GB * 30 天 / 月 * 86,400 秒/天 = 123.59 GB
每月擷取費用 = 123.59 GB * 0.13 USD/GB = 16.06 USD
資料格式轉換是資料擷取的選用附加元件,並使用收取的 GB 費用來計算成本。
轉換的每一擷取 GB 價格 = 0.018 美元
每月格式轉換費用 = 1,235.96 GB * 0.018 美元/GB 轉換 = 22.25 美元
VPC 交付定價 (選用)
交付至 VPC 是資料擷取的選用附加元件,並使用在 VPC 中交付至目的地的 GB 數來計算成本。
交付至 VPC 目的地的每 GB 價格 = 0.01 USD
VPC 交付的每 AZ 小時價格 = 0.01 USD
每月 VPC 處理費用 = 1,235.96 GB * 0.01 美元 / GB 處理量 = 12.35 美元
每月 VPC 小時費用 = 24 小時 * 30 天/月 * 3 個 AZ = 2,160 小時 * 0.01 美元/小時 = 21.60 美元每月 VPC 總費用 = 33.95 美元
動態分割定價 (選擇性)
動態分割是資料擷取的選用附加元件,並使用透過動態分割處理的 GB 數、交付至 S3 的 GB 和物件數、以及選擇性地使用 JQ 處理時間來計算成本。在此範例中,我們假設 64MB 物件是由於 Firehose 串流緩衝區提示組態的結果而交付。
如果您在 Firehose 串流中使用選用功能 (例如使用 Lambda 的資料轉換、格式轉換或壓縮),則透過動態分割處理的資料量可能與從來源擷取的資料量或交付至目的地的資料量有所差異。在動態分割之前和之後執行的其他資料處理步驟可能會產生差異。
透過動態分割處理的每 GB 價格 = 0.020 USD
交付的每 1,000 個 S3 物件價格為 0.005 USD = 0.005 USD
JQ 處理每小時價格 = 0.07 USD
透過動態分割處理的每月 GB 數 = (3KB * 100 筆記錄/秒)/1,048,576 千克/GB * 86,400 秒/天 * 30 天/月 = 741.58 GB
透過動態分割處理的 GB 數每月費用 = 741.58 GB * 透過動態分割處理每 GB 0.02 USD = 14.83 USD
交付物件數量 = 741.58 GB * 1024 MB/GB / 64 MB 物件大小 = 11,866 個物件
交付至 S3 物件的每月費用 = 11,866 個物件 * 0.005 美元 / 1000 個物件 = 0.06 美元
JQ 的每月費用(如果啟用)= 每月消耗 70 個 JQ 小時 * 0.07 USD/ JQ 處理時數 = 4.90 USD
CloudWatch Logs 解壓縮
CloudWatch Logs 以 gzip 壓縮格式傳送資料。Data Firehose 解壓縮功能可解壓縮資料,並且依每 GB 解壓縮的資料收費。
每月用量 = 10 TB 解壓縮的 CloudWatch Logs 資料
每 GB 解壓縮的價格 = 0.00325 USD/GB (位於 IAD)
每月解壓縮費用 = 10240 GB *0.00325 USD/GB = 33.28 USD
服務水準協議
瀏覽我們的常見問答集,了解 Amazon Data Firehose 服務水準協議。