Amazon Kinesis Data Analytics 是使用開源架構和資料串流處理引擎 Apache Flink 即時轉換與分析串流資料最簡單的方法。Amazon Kinesis Data Analytics 可簡化 Apache Flink 工作負載的建置及管理,且可讓您輕鬆整合應用程式和其他 AWS 服務。
使用 Amazon Kinesis Data Analytics,您只需按實際用量付費。無須佈建任何資源,也沒有預付費用。我們會根據您執行應用程式所使用的 Kinesis 處理單元 (或 KPU) 數量,以小時費率進行計費。一個 KPU 共計有 1 vCPU 運算和 4 GB 記憶體。
Amazon Kinesis Data Analytics (用於 Apache Flink 串流應用程式) 定價
在 Apache Flink 應用程式方面,您需為每個應用程式支付額外一個 KPU 的協調費用。此外,也會針對應用程式收取執行中儲存體和耐久備份的費用。執行中應用程式儲存體用來在 Amazon Kinesis Data Analytics 提供狀態處理能力,並按每月每 GB 收費。耐久備份為選購功能並按每月每 GB 收費,可將應用程式 point-in-time 恢復。
在串流模式下,由於記憶體和運算的需求會波動,因此 Amazon Kinesis Data Analytics 會自動擴展您的串流處理程式所需的 KPU 數目。您可選擇依照所需的 KPU 數量佈建應用程式。
Amazon Kinesis Data Analytics Studio 定價
互動模式中,每個 Studio 應用程式會向您多收取兩個 KPU 的費用。一個 KPU 用於 Apache Flink 應用程式協調,另一個用於無伺服器互動開發環境。此外,也會向您收取有狀態處理能力所用的執行中應用程式儲存體費用。執行中應用程式儲存體按照每月每 GB 收費。
在 Studio 筆記本中進行開發時,未提供您建立耐久應用程式備份的選項。然而,當您在 Studio 筆記本中從互動模式部署應用程式到串流模式時,就能建立耐久應用程式備份。
KPU 用量一般指導
我們建議您使用生產負載測試應用程式,以準確評估應用程式所需的 KPU 數量。KPU 用量可能依資料量和速度、程式碼複雜性、整合等具有顯著差異。在 Amazon Kinesis Data Analytics 中使用 Apache Flink 執行時間時尤其如此。例如,透過內部測試,我們觀察到無狀態的簡單應用程式每個 KPU 每秒輸送量為數百 MB,對於使用密集型機器學習 (ML) 演算法的複雜應用程式,每個 KPU 每秒輸送低於 1 MB。考慮到這些注意事項,我們在測試您的應用程式之前提供的一般指導是每個 KPU 每秒 1 MB。
按區域定價
定價範例
定價範例 1:包含簡易串流篩選的 Studio 筆記本
您使用 Amazon Kinesis Data Analytics Studio 持續篩選從 Kinesis Data Stream 擷取的串流資料,而且只保留有興趣的記錄。您希望能即時檢視並將記錄視覺化,同時以 SQL 和 Python 輕鬆撰寫查詢和程式。耐久狀態備份則不需要。您基於輸入串流的輸送量,為 Studio 筆記本佈建 4 個 KPU。您的 Kinesis Data Analytics 每月費用計算方式如下:
每月費用
使用串流處理應用程式在美國東部 (維吉尼亞北部) 的價格是每個 KPU 每小時 0.11 USD。這個簡易應用程式會使用 4 個 KPU 處理內送的資料串流。各 Studio 筆記本應用程式 (例如:互動模式) 每應用程式多收 2 個 KPU 的費用。每月 KPU 費用 = 30 天 * 24 小時 * ((4 個 KPU + 額外 2 個 KPU) * 0.11 USD/小時) = 475.20 USD
Apache Flink 應用程式每個 KPU 使用 50 GB 執行中應用程式儲存體,在 US-East-1 的價格是每月每 GB 0.10 USD。
每月執行中應用程式儲存體費用 = 30 天 * 24 小時 * 4 個 KPU * (50GB * 0.10 USD/每月每 GB) = 20.00 USD
總費用 = 475.20 USD + 20.00 USD = 495.20 USD
定價範例 2:包含移動時段部署至串流模式的 Studio 筆記本
您使用 Amazon Kinesis Data Analytics Studio,在依 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 叢集中的主題所擷取的串流資料上建置移動時段。您以 4 個 KPU 的 Studio 筆記本在兩天內使用八小時,以開發並測試查詢。開發後,您將應用程式部署為 12 個 KPU 的串流應用程式。串流應用程式一部署完成,您即將 Studio 筆記本停止。串流應用程式可以使用耐久應用程式狀態,且您每天建立耐久狀態備份。
使用串流處理應用程式在美國東部 (維吉尼亞北部) 的價格是每 KPU 每小時 0.11 USD。
每月費用
開發及測試查詢 Kinesis Data Analytics Studio:
KPU 費用 = 2 天 * 8 小時 * (4 KPU + Studio 筆記本的額外 2 個 KPU) * 0.11USD/小時) = 10.56 USD
Apache Flink 應用程式每個 KPU 使用 50 GB 執行中應用程式儲存體,在 US-East-1 的價格是每月每 GB 0.10 USD。
執行中應用程式儲存體費用 = 2 天 * 8 小時 * 4 個 KPU * (50GB * 0.10 USD/每月每 GB) = 0.44 USD
部署為串流應用程式以連續執行並取得應用程式備份:
KPU 費用 = 28 天 * 24 小時 * (2 個 KPU + 串流應用程式額外 1 個 KPU) * 0.11 USD/小時) = 221.76 USD
Apache Flink 應用程式每個 KPU 使用 50 GB 執行中應用程式儲存體,在 US-East-1 的價格是每月每 GB 0.121 USD。
執行中應用程式儲存體費用 = 28 天 * 24 小時 * 2 個 KPU * (50GB * 0.10 USD/每月每 GB) = 9.33 USD
耐久性應用程式儲存體費用 = 28 * (1 MB/備份 * 1 GB/1000 MB) * 0.023 USD/每月每 GB = 0.01 USD (無條件進位至最接近的美分)
總費用 = 10.56 USD + 0.44 USD + 221.76 USD + 9.33 USD + 0.01 USD = 242.10 USD
定價範例 3:Apache Flink 應用程式執行 ETL 串流並有工作負載變更
您在 Kinesis Data Analytics 中使用 Apache Flink 應用程式,將從 Kinesis Data Stream 擷取的日誌資料持續地轉換並且傳送至 Amazon Simple Storage Service (Amazon S3)。日誌資料會透過數種運算子轉型,包括套用結構描述至不同的日誌事件、按事件類型分割資料、按時間戳記排序資料,以及在交付資料前緩衝資料一小時。應用程式有許多轉型步驟,但這些步驟都不需要密集運算。此串流每天有 12 小時以每秒 2,000 筆記錄的速度導入資料,另外 12 小時則加速至每秒 8,000 筆記錄。您並未建立任何耐久應用程式備份。Kinesis Data Analytics 每月費用計算方式如下:
每月費用
美國東部 (維吉尼亞北部) 的價格是每 KPU 每小時 0.11 USD。Kinesis Data Analytics 為每個 KPU 分配 50 GB 的執行中應用程式儲存體,費用為每月每 GB 0.10 USD。
高工作負載:在高工作負載的 12 小時期間,Kinesis Data Analytics 應用程式每秒處理 8,000 筆記錄並且自動擴展至 8 個 KPU。在高工作負載期間結束後,Kinesis Data Analytics 應用程式會在持續六小時輸送量較低後縮小應用程式。應用程式每天共有 18 小時擴展至 8 個 KPU。
30 天/月 * 18 小時/天 = 540 小時/月
每月 KPU 費用 = 540 小時/月 * 8 個 KPU * 0.11 USD/小時 = 475.20 USD
每月執行中應用程式儲存體費用 = 540 小時/月 * 8 個 KPU * 50 GB/KPU * 0.10 USD/每月每 GB = 30.00 USD
每月 KPU 和儲存體費用 = 475.20 USD + 30.00 USD = 505.20 USD
低工作負載:在剩下六小時的低工作負載期間,Kinesis Data Analytics 應用程式每秒處理 2,000 筆記錄並且自動縮小至 2 個 KPU
30 天/月 * 6 小時/天 = 180 小時/月
每月 KPU 費用 = 180 小時/月 * 2 個 KPU * 0.11 USD/小時 = 39.60 USD
每月執行中應用程式儲存體費用 = 180 小時/月 * 2 個 KPU * 50 GB * 0.10 USD/每月每 GB = 2.50 USD
每月 KPU 和儲存體費用 = 39.60 USD + 2.50 USD = 42.10 USD
每個 Apache Flink 應用程式會收取額外一個 KPU 的費用。
每月費用 = 30 * 24 * 1 個 KPU * 0.11 USD/小時 = 79.20 USD
總費用 = 505.20 USD + 42.10 USD + 79.20 USD = 626.50 USD
定價範例 4:包含移動時段和工作負載峰值的 Kinesis Data Analytics for SQL 應用程式
您使用 Kinesis Data Analytics for SQL 應用程式,針對在您 Kinesis 串流中擷取出的線上購物交易,計算每一分鐘移動時段售出項目的總和。這個串流通常會以每秒 1,000 筆記錄的速度導入資料,但是在促銷活動期間,每天會出現一次在 1 小時內達到每秒 6,000 筆記錄的資料峰值。Kinesis Data Analytics 每月費用計算方式如下:
每月費用
使用串流處理應用程式在美國東部 (維吉尼亞北部) 的價格是每 KPU 每小時 0.11 USD。傳入的 Kinesis 資料串流以每秒 1,000 筆記錄的速度傳輸資料。但是一天中會有一次串流峰值在 1 小時內達到每秒 6,000 筆記錄。
在當天 24 小時處於「穩定狀態」的 23 小時裡,移動時段查詢會使用 1 個 KPU 處理工作負載。
30 天/月 * 23 小時/天 = 690 小時/月
穩定狀態 = 690 小時/月 * (1 個 KPU * 0.11 USD/小時) = 75.90 USD
在當天 24 小時內處於「峰值狀態」的 1 小時裡,移動時段查詢會使用 1 至 2 個 KPU 處理工作負載。您將要為一天 24 小時內的這 1 個小時,支付 2 個 KPU 的費用。
30 天/月 * 1 小時/天 = 30 小時/月
峰值狀態 = 30 小時/月 * (2 個 KPU * 0.11 USD/小時) = 6.60 USD
總費用 = 75.90 USD + 6.60 USD = 82.50 USD
注意:我們有權對傳入和傳出 Amazon Kinesis Data Analytics 應用程式的資料收取標準 AWS 資料傳輸費用。