Comment puis-je activer des paramètres spéciaux dans une tâche AWS Glue à l'aide d'AWS CloudFormation ?

Date de la dernière mise à jour : 20/05/2019

Je souhaite activer des paramètres spéciaux, tels que --enable-metrics, pour ma tâche dans AWS Glue. Toutefois, AWS CloudFormation me renvoie une erreur de validation de modèle ou de « valeurs nulles » lorsque j'essaie d'exécuter ma tâche. Comment puis-je résoudre ces erreurs ?

Brève description

Pour activer des paramètres spéciaux pour votre tâche dans AWS Glue, vous devez fournir une paire clé-valeur pour la propriété DefaultArguments de la ressource AWS::Glue::Job dans AWS CloudFormation. Si vous fournissez une clé uniquement dans la définition de votre tâche, AWS CloudFormation renvoie alors une erreur de validation.

Résolution

1.    Dans votre modèle AWS CloudFormation, pour la propriété DefaultArguments de la définition de votre tâche, définissez la valeur de votre paramètre spécial sur une chaîne vide.

Dans l'exemple de modèles JSON et YAML suivants, la valeur de --enable-metrics est définie sur une chaîne vide.

JSON :

    "MyJob": {
      "Type": "AWS::Glue::Job",
      "Properties": {
        "Command": {
          "Name": "glueetl",
          "ScriptLocation": "s3://my-test//test-job1"
        },
        "DefaultArguments": {
          "--job-bookmark-option": "job-bookmark-enable",
	  "--enable-metrics": ""
        },
        "ExecutionProperty": {
          "MaxConcurrentRuns": 2
        },
        "MaxRetries": 0,
        "Name": "cf-job3",
        "Role": {
          "Ref": "MyJobRole"
        }
      }
    }

YAML :

MyJob:
  Type: 'AWS::Glue::Job'
  Properties:
    Command:
      Name: glueetl
      ScriptLocation: 's3://my-test//test-job1'
    DefaultArguments:
      '--job-bookmark-option': job-bookmark-enable
      '--enable-metrics': ''
    ExecutionProperty:
      MaxConcurrentRuns: 
    MaxRetries: 0
    Name: cf-job3
    Role: !Ref MyJobRole

La chaîne vide valide le modèle et lance la ressource configurée avec le paramètre spécial.

2.    Pour activer votre paramètre spécial, exécutez votre tâche.


Cet article vous a-t-il été utile ?

Cette page peut-elle être améliorée ?


Vous avez besoin d'aide ?