Amazon Managed Workflows for Apache Airflow (MWAA)

AWS マネジメントコンソール、CLI、AWS CloudFormation、AWS SDK から数分で開始できます。アカウントを作成し、開発リソースやプロビジョニングインフラストラクチャに依存することなく、Airflow 環境への Directed Acyclic Graphs (DAG) のデプロイをすぐに開始できます。

Managed Workflows では、ワークロードが Amazon の Virtual Private Cloud (VPC) を使用して独自の分離された安全なクラウド環境で実行され、データが AWS Key Management Service (KMS) を使用して自動的に暗号化されるため、データは基本的に安全です。AWS Identity and Access Management (IAM) を介して Apache Airflow のユーザーインターフェイスのロールベースの認証と承認をコントロールし、ワークフローの実行をスケジュールおよび表示するためのシングルサインオン (SSO) アクセスをユーザーに提供できます。

Managed Workflows はマネージドサービスであり、オープンソースの Apache Airflow を大規模に実行する手間を省きます。Managed Workflows を使用すると、エンドツーエンドのデータパイプラインオーケストレーションのオンデマンドモニタリングのニーズを満たしながら、運用コストとエンジニアリングのオーバーヘッドを削減できます。

Athena、Batch、Cloudwatch、DynamoDB、DataSync、EMR、ECS / Fargate、EKS、Firehose、Glue、Lambda、Redshift、SQS、SNS、Sagemaker、S3 などのワークフローに必要な AWS またはオンプレミスのリソースとつながります。

ビッグデータプロバイダーは、多くの内部および外部サービスを接続する複雑なデータパイプラインを必要とすることがよくあります。このデータを使用するには、最初に、データを準備および処理する一連の順次タスクを定義するワークフローを構築する必要があります。Managed Workflows は、これらのワークフローをスケジュールに従って、またはオンデマンドで実行します。Managed Workflows は、ウェブユーザーインターフェイスを使用するか、Cloudwatch を一元的に使用して複雑なワークフローを監視します。

Managed Workflows をオープンソースの代替手段として使用して、任意の複雑な ETL ワークフローでさまざまなテクノロジセットを含む複数の ETL ジョブを調整することができます。例えば、オンラインユーザーエンゲージメントと予測される販売収益および機会との相関関係を調査したい場合があります。この場合、Managed Workflows を使用して、複数の AWS Glue、Batch、EMR ジョブを調整し、分析用のデータをブレンドして準備できます。

機械学習を有効にするには、ソースデータを収集、処理、正規化して、フルマネージドサービスの Amazon SageMaker などの ML モデリングシステムがそのデータをトレーニングできるようにする必要があります。Managed Workflows は、ML パイプラインを自動化するために必要な手順を簡単にまとめることで、この問題を解決します。