Amazon Managed Workflows for Apache Airflow (MWAA)
Apache Airflow のためのセキュアで可用性が高いマネージドワークフローオーケストレーション
なぜ Amazon MWAA なのですか?
Amazon MWAA は、次世代の Amazon SageMaker で利用できます
次世代の Amazon SageMaker の Amazon MWAA を使用すると、運用上の負担をかけずに Apache Airflow をシームレスにデプロイおよびスケーリングできます。Amazon SageMaker の MWAA では、自動スケーリングと組み込みのフォールトトレランス機能により、ワークフローを確実に実行できるため、インフラストラクチャではなくイノベーションに集中できます。詳細はこちら。
メリット
Apache Airflow をデプロイ
Apache Airflow を大規模に展開することで、インフラストラクチャの管理に伴う運用負荷を軽減します。
Apache Airflow ワークロードを実行
Apache Airflow ワークロードを、独自の分離された安全なクラウド環境で実行します。
環境をモニタリング
Amazon CloudWatch 統合を通じて環境をモニタリングし、運用コストとエンジニアリングオーバーヘッドを削減します。
AWS、クラウド、またはオンプレミスのリソースに接続
AWS、クラウド、またはオンプレミスのリソースに、Apache Airflow プロバイダーまたはカスタムプラグインを介して接続します。
Amazon SageMaker でワークフローをビルド、実行、モニタリングする
Amazon MWAA は、Amazon SageMaker Unified Studio の Jupyter Notebook と一緒に実行される、個人用のオープンソースの Airflow デプロイメントにアクセスすることで、次世代の Amazon SageMaker のワークフローを強化します。ノートブック、クエリ、トレーニングジョブなどのプロジェクトアーティファクトを調整できるエアフロー指向非巡回グラフ (DAG) を簡単に開発できます。
ユースケース
複雑なワークフローをサポートする
ビッグデータプロバイダーからの複雑なデータを準備および処理する、スケジュールされたワークフローまたはオンデマンドワークフローを作成します。
抽出、変換、ロード (ETL) ジョブを調整する
複雑な ETL ワークフロー内で多様なテクノロジーを使用する複数の ETL プロセスをオーケストレートします。
ML データを準備する
パイプラインを自動化して、機械学習 (ML) モデリングシステムがデータを取り込んでトレーニングするのをサポートします。