推出用於連續處理串流資料的 Amazon EMR Serverless 串流作業

張貼日期: 2024年6月4日

Amazon EMR Serverless 是 Amazon EMR 中的無伺服器選項,可讓資料工程師和資料科學家無需設定、管理和擴展叢集或伺服器,即可輕鬆執行開放原始碼大數據分析架構。我們很高興宣布在 Amazon EMR Serverless 上推出新的串流作業模式,讓您能持續分析和處理串流資料。
串流對於企業從感應器、物聯網裝置和 Web 日誌等資料來源取得持續洞察極為重要。然而,由於高可用性、故障恢復能力及與串流服務整合等要求,處理串流資料可能具有挑戰性。Amazon EMR Serverless 串流作業具有解決這些挑戰的內建功能。透過多可用區域的彈性,自動容錯移轉至運作狀態正常的可用區域,以提供高可用性。它還透過在故障時自動重試作業及日誌管理功能 (例如日誌輪換和壓縮) 提供更高的彈性,防止可能導致作業失敗的日誌檔案累積。此外,Amazon EMR Serverless 串流作業支援處理來自串流服務 (如自我管理的 Apache Kafka 叢集、Amazon Managed Streaming for Apache Kafka) 的資料,現在還透過新的內建 Amazon Kinesis Data Streams 連接器與 Amazon Kinesis Data Streams 整合,讓建立端對端串流管道變得更容易。

Amazon EMR Serverless 串流作業現已在 EMR 7.1.0 發行版及更高版本上正式推出,可於以下 AWS 區域使用:美國東部 (維吉尼亞北部、俄亥俄)、美國西部 (奧勒岡)、歐洲 (斯德哥爾摩、巴黎、法蘭克福、愛爾蘭、倫敦)、南美洲 (聖保羅) 和亞太地區 (東京、首爾、新加坡、孟買、雪梨)。若要開始使用,請瀏覽《Amazon EMR Serverless 使用者指南》中的 Amazon EMR Serverless 串流作業頁面。