Comment utiliser des flux de travail AWS Glue pour démarrer automatiquement une tâche à la fin de l’exécution d’un analyseur ?

Date de la dernière mise à jour : 13/03/2020

Je souhaite utiliser des flux de travail AWS Glue pour démarrer automatiquement une tâche à la fin de l’exécution d’un analyseur. Comment procéder ?

Brève description

Pour démarrer une tâche à l'issue de l'exécution d'un analyseur, créez un flux de travail AWS Glue et deux déclencheurs : un pour l'analyseur et l'autre pour la tâche. Cette méthode nécessite que vous démarriez l'analyseur à partir de la page Workflows (Flux de travail) de la console AWS Glue.

Remarque : vous pouvez également utiliser une fonction AWS Lambda et une règle Amazon CloudWatch Events pour automatiser l'exécution de la tâche. Lorsque vous choisissez cette option, la fonction Lambda est toujours activée. Cette dernière surveille l'analyseur, quel que soit l'endroit ou le moment où vous le démarrez. Pour plus d'informations, consultez la section Comment utiliser une fonction Lambda pour démarrer automatiquement une tâche AWS Glue à la fin de l'exécution d'un analyseur ?

Solution

Avant d’effectuer la procédure suivante, assurez-vous que vous disposez des éléments suivants :

  • Une tâche d’extraction, de transformation et de chargement (ETL) AWS Glue.
  • Un analyseur AWS Glue.
  • Un rôle AWS Identity and Access Management (IAM) pour AWS Glue, associé à la stratégie AWSGlueServiceRole.

Création du flux de travail

  1. Ouvrez la console AWS Glue.
  2. Dans le volet de navigation, choisissez Workflows (Flux de travail), puis Add workflow (Ajouter un flux de travail).
  3. Spécifiez un nom pour le flux de travail, puis sélectionnez Add workflow (Ajouter un flux de travail). Le nouveau flux de travail apparaît dans la liste sur la page Workflows (Flux de travail).

Création du déclencheur pour l'analyseur

  1. Sur la page Workflows (Flux de travail), sélectionnez votre nouveau flux de travail, puis choisissez l'onglet Graph (Graphique).
  2. Sélectionnez Add trigger (Ajouter un déclencheur), puis choisissez l'onglet Add new (Ajouter). Pour Trigger type (Type de déclencheur), choisissez On demand (À la demande).
  3. Sélectionnez Add (Ajouter). Le déclencheur apparaît sur le graphique.
  4. Sur le graphique, choisissez Add node (Ajouter un nœud).
  5. Dans l'onglet Crawlers (Analyseurs), sélectionnez votre analyseur, puis choisissez Add (Ajouter).

Création du déclencheur pour la tâche AWS Glue

  1. Dans le menu Action au-dessus du graphique, choisissez Add trigger (Ajouter un déclencheur).
  2. Choisissez l'onglet Add new (Ajouter), puis sélectionnez les options suivantes : Pour Trigger type (Type de déclencheur), choisissezEvent (Événement). Pour Trigger logic (Logique du déclencheur), choisissez Start after ALL watched event (Démarrer après TOUT événement visualisé).
  3. Sélectionnez Add (Ajouter). Le déclencheur apparaît sur le graphique.
  4. Sur le graphique, à gauche du déclencheur de tâche que vous venez de créer, choisissez Add node (Ajouter un nœud).
  5. Dans l'onglet Crawlers (Analyseurs), sélectionnez votre analyseur, puis choisissez Add (Ajouter). Le déclencheur apparaît sur le graphique.
  6. Sur le graphique, à droite du déclencheur de tâche que vous venez de créer, choisissez Add node (Ajouter un nœud).
  7. Dans l'onglet Jobs (Tâches), sélectionnez la tâche que vous souhaitez démarrer à l'issue de l'exécution de l'analyseur, puis choisissez Add (Ajouter).

Test du flux de travail

  1. Dans le menu Actions en regard du bouton Add workflow (Ajouter un flux de travail), choisissez Run (Exécuter). Dans la colonne Last run status (Dernier statut d'exécution), le statut devient Running (En cours d'exécution).
  2. Allez dans l'onglet Graph (Graphique) pour vérifier le statut du flux de travail. Ou ouvrez votre analyseur ou tâche correspondant pour vous assurer qu'il/elle est en cours d'exécution.

Cet article vous a-t-il été utile ?

Cette page peut-elle être améliorée ?


Vous avez besoin d’aide ?