Amazon EMR Serverless 推出任務執行並行與佇列控制項

張貼日期: 2024年10月1日

Amazon EMR Serverless 是 Amazon EMR 中的無伺服器選項，可讓資料工程師和資料科學家無需設定、管理和擴展叢集或伺服器，即可輕鬆執行開放原始碼大數據分析架構。我們今天很高興宣布 Amazon EMR Serverless 的任務執行許可控制，以及對任務執行並行和佇列控制的支援。

任務執行並行與佇列可讓您設定應用程式並行任務執行的次數上限，並且會自動排入所有其他已提交的任務執行。這可防止因任務執行提交的暴增而超過 API 限制，或因為帳戶或應用程式的最大並行 vCPU 限制，或超過基礎子網路 IP 位址限制導致資源耗盡時，造成的任務執行失敗。任務執行佇列還可以簡化任務執行管理，不需要建置複雜的佇列管理系統，就能重試因為限制錯誤 (例如，並行 vCPU 上限、子網路 IP 位址限制等) 而失敗的任務。隨著並行插槽可供使用，在使用此功能的情況下，系統會自動將任務排入佇列和加以處理，從而確保有效率的資源使用並防止任務失敗。

Amazon EMR Serverless 的任務執行並行和佇列可在提供 Amazon EMR Serverless 的所有 AWS 區域中使用，包括 AWS GovCloud (美國) 區域，但中國區外除外。若要進一步了解，請參閱 EMR 無伺服器文件中的任務並行與佇列。