Comment configurer une condition préalable du pipeline de données pour Amazon S3 ?

Dernière mise à jour : 02/02/2021

Comment utiliser une condition préalable AWS Data Pipeline pour arrêter un pipeline en cours d'exécution si un compartiment Amazon Simple Storage Service (Amazon S3) spécifique n'existe pas ?

Brève description

Créez une condition préalable S3PrefixNotEmpty pour l'objet S3DataNode. S3PrefixNotEmpty est une condition préalable gérée par le système. À moins de spécifier un délai d'expiration (preconditionTimeout), les conditions préalables gérées par le système sont exécutées jusqu'à ce que leur condition soit vraie.

Remarque : sur les pipelines actifs, les conditions préalables entraînent des frais supplémentaires. Pour de plus amples informations, consultez la tarification d'AWS Data Pipeline.

Résolution

Vous ne pouvez pas configurer les conditions préalables tant qu'un pipeline est actif. Pour ajouter une condition préalable à un pipeline actif, clonez le pipeline, puis procédez comme suit :

  1. Ouvrez laconsole AWS Data Pipeline.
  2. Sélectionnez un pipeline désactivé, puis choisissez Actions, Edit (Modifier).
  3. Choisissez un objet S3DataNode existant. Vous pouvez également en créer un en sélectionnant la liste déroulante Add (Ajouter), puis en choisissant S3DataNode.
  4. Dans la liste déroulante Ajouter un champ facultatif pour l'objet S3DataNode, choisissez Precondition (Condition préalable).
  5. Dans la liste déroulante Precondition (Condition préalable), choisissez Create new: Precondition (Créer une nouvelle condition préalable).
  6. Ouvrez la section Precondition (Condition préalable), puis recherchez l'objet de condition préalable que vous venez de créer.
  7. Dans la liste déroulante Type, choisissez S3PrefixNotEmpty.
  8. Dans le champ S3 Prefix (Préfixe S3), entrez un chemin d'accès à Amazon S3. Reportez-vous à S3PrefixNotEmpty pour un exemple illustré dans la définition de pipeline JSON.

Pour spécifier un délai d'expiration :

  1. Dans la liste déroulante Add optional field (Ajouter un champ facultatif) pour l'objet S3PrefixNotEmpty, choisissez Precondition Timeout (Délai d'expiration de la condition préalable).
  2. Spécifiez les conditions du délai d'expiration.

Lorsque preconditionTimeout est atteint, les nœuds dépendants échouent avec le statut CASCADE_FAILED.


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?