クローラーの実行が完了したときに、AWS Glue ワークフローを使用して自動的にジョブが開始されるようにする方法を教えてください。

最終更新日: 2020 年 3 月 13 日

クローラーの実行が完了したときに、AWS Glue ワークフローを使用して自動的にジョブが開始されます。これはどのように実行できますか?

簡単な説明

クローラーの実行が完了したときにジョブを開始するには、AWS Glue ワークフローと 2 つのトリガーを作成します。トリガーの 1 つはクローラー用、もう 1 つはジョブ用です。この方法では、AWS Glue コンソールのワークフローページからクローラーを開始する必要があります。

注意: AWS Lambda 関数と Amazon CloudWatch Events ルールを使用して、ジョブの実行を自動化することもできます。このオプションを選択すると、Lambda 関数は常にオンになります。クローラーは、開始場所や開始時刻に関係なくモニタリングされます。詳細については、クローラーの実行が完了したときに Lambda 関数を使用して自動的に AWS Glue ジョブを開始する方法を教えてくださいを参照してください。

解決方法

以下の手順を実行する前に、次のものが用意されていることを確認します。

  • AWS Glue の抽出、変換、およびロード (ETL、Extract, Transform, and Load) ジョブ。
  • AWS Glue クローラー。
  • AWSGlueServiceRole ポリシーがアタッチされている AWS Glue の AWS Identity and Access Management (IAM) ロール。

ワークフローを作成する

  1. [AWS Glue コンソール] を開きます。
  2. ナビゲーションペインで [ワークフロー]、次いで [ワークフローを追加] を選択します。
  3. ワークフローの名前を入力し、[ワークフローを追加] を選択します。新しいワークフローがワークフローページのリストに表示されます。

クローラーのトリガーを作成する

  1. ワークフローページで、新しいワークフローを選択し、[グラフ] タブを選択します。
  2. [トリガーを追加] を選択し、[新しく追加する] タブを選択します。[トリガータイプ] で、[オンデマンド] を選択します。
  3. [追加] を選択します。トリガーがグラフに表示されます。
  4. グラフで、[ノードを追加] を選択します。
  5. [クローラー] タブでクローラーを選択し、[追加] を選択します。

AWS Glue ジョブのトリガーを作成する

  1. グラフの上の [アクション] メニューで、[トリガーを追加] を選択します。
  2. [新しく追加する] タブを選択し、次のオプションを選択します。[トリガータイプ] で、[イベント] を選択します。[トリガーロジック] で、[視聴したすべてのイベント後に開始] を選択します。
  3. [追加] を選択します。トリガーがグラフに表示されます。
  4. グラフで、先ほど作成したジョブトリガーの左側にある [ノードを追加] を選択します。
  5. [クローラー] タブでクローラーを選択し、[追加] を選択します。トリガーがグラフに表示されます。
  6. グラフで、先ほど作成したジョブトリガーの右側にある [ノードを追加] を選択します。
  7. [ジョブ] タブで、クローラーの実行が完了したときに開始するジョブを選択し、[追加] を選択します。

ワークフローをテストする

  1. [アクション] メニューで、[ワークフローを追加] ボタンの横にある [実行] を選択します。[最新の実行ステータス] 列が [実行中] に変わります。
  2. [グラフ] タブをチェックして、ワークフローのステータスを確認します。もしくは、対応するクローラーまたはジョブを開き、実行中であることを確認します。

この記事はお役に立ちましたか?

改善できることはありますか?


さらにサポートが必要な場合