Amazon Managed Workflows for Apache Airflow

Apache Airflowのためのセキュアで可用性が高いマネージドワークフローオーケストレーション

Apache Airflow を大規模に展開することで、インフラストラクチャの管理に伴う運用負荷を軽減します。

Apache Airflow ワークロードを、独自の分離された安全なクラウド環境で実行します。

Amazon CloudWatch 統合を通じて環境をモニタリングし、運用コストとエンジニアリングオーバーヘッドを削減します。

AWS、クラウド、またはオンプレミスのリソースに、Apache Airflow プロバイダーまたはカスタムプラグインを介して接続します。

仕組み

Amazon Managed Workflows for Apache Airflow (MWAA) は、Python で記述された Directed Acyclic Graphs (DAG) を使用して、ワークフローを調整します。MWAA に、DAG、プラグイン、Python の要件が存在する Amazon Simple Storage Service (S3) バケットを提供します。次に、AWS マネジメントコンソール、コマンドラインインターフェイス (CLI)、Software Development Kit (SDK)、または Apache Airflow ユーザーインターフェイス (UI) から DAG を実行してモニタリングします。

この図では、Amazon MWAA が Amazon S3 に保存されている DAG を使用してワークフローを調整する方法を示しています。
Apache Airflow (MWAA) 用 Amazon マネージド型ワークフローの使用開始 (6:48)
なぜ Amazon MWAA なのですか?
Amazon MWAA は Apache Airflowのマネージドサービスであり、現在お使いの使い慣れた Apache Airflow のプラットフォームを使用してワークフローをオーケストレーションすることができます。基盤となるインフラストラクチャを管理するための運用負荷をかけずに、スケーラビリティ、可用性、セキュリティを向上させることができます。
なぜ Amazon MWAA なのですか?
Amazon MWAA は Apache Airflowのマネージドサービスであり、現在お使いの使い慣れた Apache Airflow のプラットフォームを使用してワークフローをオーケストレーションすることができます。基盤となるインフラストラクチャを管理するための運用負荷をかけずに、スケーラビリティ、可用性、セキュリティを向上させることができます。

ユースケース

複雑なワークフローをサポートする

ビッグデータプロバイダーからの複雑なデータを準備および処理する、スケジュールされたワークフローまたはオンデマンドワークフローを作成します。

抽出、変換、ロード (ETL) ジョブを調整する

複雑な ETL ワークフロー内で多様なテクノロジーを使用する複数の ETL プロセスをオーケストレートします。

ML データを準備する

パイプラインを自動化して、機械学習 (ML) モデリングシステムがデータを取り込んでトレーニングするのをサポートします。

最初に行うべきこと

機能を調べる

簡単な Apache Airflow デプロイ、自動スケーリング、セキュリティなどについて説明します。

無料アカウントで構築を開始

AWS 無料利用枠にすぐにアクセスする。

MWAA の使用を開始する

コンソールでAmazon MWAAを使用して構築を開始します。


AWS の詳細を見る