Pourquoi ma tâche AWS Glue ETL retraite-t-elle les données même lorsque les signets de tâche sont activés ?

Date de la dernière mise à jour : 16/02/2021

J'ai activé les signets de tâche pour ma tâche AWS Glue, mais celle-ci continue de retraiter les données.

Solution

Voici quelques raisons courantes pour lesquelles une tâche d'extraction, de transformation et de chargement (ETL) peut retraiter des données même si les signets de tâche sont activés :

  • Vous avez plusieurs tâches simultanées avec des signets de tâche, et la concurrence maximale n'est pas définie sur 1.
  • L'objet job.init() est manquant.
  • L'objet job.commit() est manquant.
  • Le paramètre transformation_ctx est manquant.
  • Les clés primaires de la table ne sont pas dans l'ordre séquentiel (connexions JDBC uniquement).
  • Les données source ont été modifiées après votre dernière exécution de tâche.

Pour plus d'informations sur chacun de ces problèmes, voir Erreur : Une tâche retraite des données lorsque les signets de tâche sont activés.


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?