張貼日期: Nov 19, 2019
AWS Step Functions 現已與 Amazon EMR 整合,可更快建置和輕鬆監控 EMR 大數據處理工作流程。
透過 AWS Step Functions,您可以使用 Amazon EMR、Amazon SageMaker 和 AWS Lambda 等 AWS 服務建立彈性的工作流程。Amazon EMR 是業界領先的雲端原生大數據平台,可讓團隊快速、經濟高效地大規模處理大量資料。使用 Step Functions 和 Amazon EMR,您可以協調大數據工作流程,同時撰寫最少的其他程式碼。
使用 Amazon EMR 和 AWS Step Functions,您現在可以建立高效的資料處理工作流程來訂購 Amazon EMR 步驟、管理相依性以及並行執行工作。在 ETL 工作流程中,您可以主動擴充和縮減叢集,從而根據手邊的任務調整叢集大小。您也可以透過選擇處理例外情況的方式、重試失敗的任務並提醒使用者出現故障,來改進資料處理工作流程的恢復能力。
透過搭配使用 Amazon EMR 服務整合和 AWS Step Functions Data Science SDK,您可以建置端對端資料科學工作流程。EMR 服務整合現可在提供 AWS Step Functions 和 Amazon EMR 的所有區域使用。如需區域和服務產品的完整清單,請參閱 AWS 區域。
進一步了解:
- 閱讀 AWS 新聞部落格文章
- 部署一鍵式範例專案,用於與 Amazon EMR 整合的 AWS Step Functions
- 閱讀 AWS Step Functions 開發人員指南中的使用 Step Functions 管理 Amazon SageMaker 任務