張貼日期: Apr 27, 2020
AWS Glue 現在支援串流 ETL。此功能可輕鬆設定連續的擷取管道，以快速備妥串流資料，在幾秒鐘內展開分析作業。AWS Glue 的串流 ETL 任務可取用 Amazon Kinesis 和 Apache Kafka 等串流來源的資料，在執行期間對這些資料串流進行清除和轉換作業，並將結果連續載入 Amazon S3 資料湖、資料倉儲或其他資料存放區。客戶可使用這項功能處理 IoT 事件串流、點擊流和網路日誌等事件資料。AWS Glue 的串流 ETL 任務在 Apache Spark 結構化串流引擎上執行，因此客戶可將這項功能用於充實、彙總及合併串流資料，以及執行各種複雜的分析和機器學習操作。
之前，您必須手動建構串流處理和監控系統，將其拼接在一起，才能建置串流資料擷取管道。AWS Glue 中的串流 ETL 任務會利用 AWS Glue 的無伺服器基礎設施來簡化資源管理作業，並且最佳化成本，讓您無需編寫程式碼，即可設定連續的擷取管道，從而將平均實作時間從幾個月縮短至數天。
目前，提供 AWS Glue 的 AWS 區域均已開放使用這項功能。
若要進一步了解此功能，請瀏覽我們的文件。