跳至主要內容

Amazon EMR

Amazon EMR Serverless

無需管理叢集和伺服器,即可使用開放原始碼架構執行巨量資料應用程式

為何選擇 EMR Serverless?

Amazon EMR Serverless 是 Amazon EMR 中的一種無伺服器選項,可讓資料分析師和工程師無需設定、管理和擴展叢集或伺服器,即可輕鬆執行開放原始碼大數據分析架構。您無需專家來規劃和管理叢集,即可獲得 Amazon EMR 的所有功能和優勢。

優勢

選擇要為應用程式執行的開放原始碼架構 (例如 Apache Spark 和 Apache Hive),EMR Serverless 會自動佈建和管理底層運算和記憶體資源。

使用自動隨需擴展,可在幾秒鐘內調整資源大小,以滿足不斷變化的資料量和處理需求,讓分析工作負載能在任何規模下執行。

EMR Serverless 會自動調整資源的規模,以提供剛好適合應用程式的容量。您只需為使用的部分付費,並且能將佈建過度或不足的擔憂降至最低。

透過 Apache Spark 升級代理程式,原本需時數個月的 Spark 升級作業,可藉由智慧自動化轉變成僅需數週即可完成的高效率專案。Spark 升級代理程式會自動處理程式碼庫中的複雜 API 變更,讓企業遷移流程更順暢,大幅降低成本與人力投入。

Amazon EMR Serverless 免除 Apache Spark 工作負載對本機儲存空間的佈建需求,可降低最多 20% 的資料處理成本,並避免因磁碟容量不足而導致的作業失敗。EMR Serverless 會自動處理隨機等中介資料操作,而且不收取儲存費用,只需為運算與記憶體資源付費。

運作方式

1

建立應用程式

選擇您想使用的開放原始碼架構和版本。

2

提交作業

透過 API 或 EMR Studio 將作業提交至應用程式。您也可以使用工作流程協同運作服務 (例如 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow) 來提交作業。

3

偵錯作業

使用熟悉的開放原始碼工具 (例如 Spark UI 和 Tez UI) 來監控作業並進行偵錯。

使用案例

隨著工作負載需求的變化,無縫擴展應用程式資源,而無需預先設定所需的運算能力和記憶體。

選擇預先初始化應用程式資源的選項,並針對 SLA 敏感資料管道啟用以秒為單位的回應時間。

快速又簡單地啟動開發和測試環境,自動擴展以應對不可預測的用量,並更快地將產品推向市場。