Amazon EMR 現在允許您平行執行多個步驟，取消執行中步驟，以及與 AWS Step Functions 整合

張貼日期: Nov 26, 2019

Amazon EMR 現在支援同時執行多個 EMR 步驟，能夠取消執行中步驟，以及整合 AWS Step Functions。平行執行步驟讓您能夠執行更多進階工作負載，提高叢集資源利用率，並減少完成工作負載所花費的時間。允許一次執行的步驟數目可進行設定，並且能在叢集啟動時，以及叢集啟動後的任何時間設定。透過取消執行中步驟的功能，您現在可以更好地控制步驟的執行，包括能夠強制取消步驟。此外，AWS Step Functions 還支援平行執行步驟，允許您建立和擴展叢集，以及使用 Step Functions 工作流程來協調步驟執行。

透過這些步驟，您無須直接連線至 EMR 叢集，即可將工作負載提交至 Apache Spark、Apache Hive、Apache YARN 和 Presto 等 EMR 應用程式。可以使用 EMR 主控台和 API 將步驟新增至叢集中。在此之前，步驟是按順序執行，每個步驟需要完成後，才能開始下一個步驟，並且無法取消正在執行的步驟。

憑藉平行執行步驟的功能，現在可以建立涉及條件性邏輯和分支的更進階工作流程。為了簡化這些工作流程的建立和管理，我們滿懷欣喜之情，宣佈與 AWS Step Functions 全新整合。Step Functions 現在支援 EMR 步驟，讓您能夠協調叢集建立，以程式設計方式擴展叢集資源，以及使用 EMR 管理步驟執行、相依項和例外狀況處理。

EMR 5.28.0 版支援平行執行步驟和取消執行中步驟，並且於亞太區域 (香港、孟買、東京)、歐洲 (法蘭克福、愛爾蘭、斯德哥爾摩)、中東 (巴林)、南美洲 (聖保羅)、美國東部 (維吉尼亞北部)、美國西部 (加利福尼亞北部和奧勒岡) 開放使用，接下來幾週還會在更多區域推出。

要開始使用，請查閱 EMR 步驟文件，並使用一鍵式範例專案部署首個 Step Functions 工作流程。

進一步了解：