Amazon Managed Workflows for Apache Airflow(MWAA)
透過管理的 Apache Airflow 安全且大規模簡化工作流程協調
為什麼使用 Amazon MWAA?
適用於 Apache 空氣流量的亞馬遜託管工作流程 (MWAA) 可讓您使用業界標準的 Apache Airflow 平台協調資料管道和工作流程。選擇無伺服器或佈建部署選項,即可享受企業級擴充性、可用性和安全性,而無需管理基礎架構。
選擇您的部署模型
無伺服器工作流程
Amazon MWAA 無伺服器,藉由隨需或按排程自動執行 YAML 或 Python 型工作流程,從而消除基礎架構管理複雜性。利用企業級高可用性輕鬆擴充至數百個工作流程,無需 Apache Airflow 配置。使用以使用為基礎的定價和內建的安全控制項,您只需支付實際執行時間。
傳統管理環境
Amazon MWAA 讓您能夠透過使用偏好的依賴項和外掛程式部署自訂環境,讓您能夠完全控制工作流程,同時我們處理基礎架構佈建、安全性和擴展。
優勢
Amazon MWAA 提供部署模型,以滿足各種工作流程需求。MWAA 無伺服器自動根據需求進行調整,消除手動容量規劃,同時優化成本。佈建選項可針對 Airflow 資源進行細微控制,讓您根據特定需求微調效能。選擇輕鬆自動調整或精確的資源控制,Amazon MWAA 可根據您的企業進行調整。
Amazon MWAA 提供針對您需求量身定制的全面安全性:無伺服器提供精細的工作流程層級控制,而 Provisioned 為不同的商業環境提供環境層級邊界。這兩種選項都具備企業級安全性,包括 VPC 隔離、端對端加密和精細的存取控制,確保您的工作流程保持受到保護,而不會影響效能。
Amazon MWAA 為下一代 Amazon SageMaker 的工作流程提供支援,可存取個人開放原始碼的 Airflow 部署,並與亞馬遜 SageMaker 整合工作室中的 Jupyter 筆記本一起執行。您可以輕鬆開發氣流導向非循環圖 (DAG),以協調其專案成因素,例如筆記本、查詢和訓練工作。
使用案例
協調跨多個 AWS 服務和外部資料來源的複雜資料轉換。為您的資料湖架構自動化資料擷取、編目和處理工作流程,同時透過批次處理協調串流資料管道。
協調從資料準備到模型訓練、驗證和部署的端對端機器學習工作流程。透過開發和生產環境的 A/B 測試,自動執行功能萃取、轉換工作流程,並協調模型部署。
自動排程並協調報表產生、資料重新整理和儀表板更新。實作自動化資料驗證、清理和品質保證工作流程,同時同步業務應用程式與分析平台之間的資料。
在整個基礎架構中自動化備份工作流程、資料封存和災難復原程序。協調 AWS 和其他雲端供應商或內部部署系統的工作流程,同時協調資料治理工作流程、合規報告和稽核記錄產生。