Comment créer une tâche AWS DMS de validation uniquement ?

Lecture de 4 minute(s)
0

Je veux créer une tâche AWS Database Migration Service (AWS DMS) à utiliser à des fins de validation, par exemple pour prévisualiser et valider des données.

Brève description

AWS DMS vous permet de créer des tâches de validation uniquement à l'aide de la console AWS DMS ou de l’Interface de la ligne de commande AWS (AWS CLI). Vous pouvez utiliser des tâches de validation uniquement pour valider vos données sans effectuer de migration ou de réplication des données. Lorsque vous utilisez des tâches de validation uniquement, il n'y a aucune surcharge sur votre tâche de migration existante, car la validation elle-même est découplée de la migration.

Il existe deux types de tâches de validation uniquement : les tâches de validation uniquement à chargement complet et les tâches de validation uniquement de capture des données modifiées (CDC).

  • Les tâches de validation uniquement à chargement complet s'exécutent beaucoup plus rapidement que leur équivalent CDC lorsque de nombreuses défaillances sont signalées. Toutefois, en mode à chargement complet, les modifications apportées au point de terminaison source ou cible sont signalées comme des échecs, ce qui peut être un inconvénient.
  • Les tâches CDC de validation uniquement retardent la validation en fonction de la latence moyenne. Ils réessayent ensuite les échecs plusieurs fois avant de les signaler. Si la majorité des comparaisons de données aboutissent à des échecs, une tâche CDC de validation uniquement est très lente, ce qui constitue un inconvénient potentiel.

Pour plus d'informations sur la façon dont vous pouvez utiliser les tâches de validation uniquement, consultez la section Cas d'utilisation de Validation uniquement dans Tâches de validation uniquement.

Solution

Remarque : si vous recevez des erreurs lors de l'exécution de commandes AWS CLI, vérifiez que vous utilisez la version la plus récente d'AWS CLI.

Créez une tâche de validation uniquement à l'aide de la console AWS DMS

1.    Ouvrez la console AWS DMS, puis choisissez Tâches de migration de base de données dans le panneau de navigation.

2.    Choisissez Créer une tâche, puis sous Configuration des tâches, entrez les détails de votre tâche.

3.    Sous Type de migration, sélectionnez Répliquer uniquement les changements de données.

4.    Sous Paramètres des tâches, sélectionnez l'éditeur JSON, puis modifiez les paramètres suivants :

"EnableValidation": true,
"ValidationOnly": true,

5.    Pour Type de migration, choisissez l'une des options suivantes :

  • Pour une tâche de validation uniquement à chargement complet, choisissez Migrer les données existantes.
  • Pour une tâche CDC de validation uniquement, choisissez Répliquer les modifications de données uniquement.

6.    Sous Configuration du démarrage de la tâche de migration, sélectionnez Manuellement ultérieurement. Cela vous permet de vérifier les paramètres de la tâche avant de démarrer la tâche.
Remarque : la valeur par défaut de TargetTablePrepMode est définie sur DO_NOTHING. Si TargetTablePrepMode a été modifié, définissez TargetTablePrepMode sur DO_NOTHING.

7.    Sélectionnez Créer une tâche.

Créer une tâche de validation uniquement avec l'AWS CLI

1.    Pour les environnements Linux et Windows, exécutez la commande create-replication-task pour créer une tâche de validation uniquement. Vous pouvez également spécifier une heure de démarrage du CDC, ce qui peut être utile si vous devez démarrer la validation à partir d'un horodatage spécifique. Consultez ces exemples :

Linux :

aws dms create-replication-task --replication-task-identifier validation-only-task --replication-task-settings '{"FullLoadSettings":{"TargetTablePrepMode":"DO_NOTHING"},"ValidationSettings":{"EnableValidation":true,"ValidationOnly":true}}' --replication-instance-arn
arn:aws:dms:us-east-1:xxxxxxxxxxx:rep:ABCDEFGH12346 --source-endpoint-arn arn:aws:dms:us-east-1:xxxxxxxxxxxx:endpoint:KSXGO6KATGOXBDZXKRV3QNIZV4 --target-endpoint-arn arn:aws:dms:us-east-1:xxxxxxxxxxxxxxx:endpoint:7SIYPBZTE2X3CZ7FPN7KKOAV6Q --migration-type
cdc --cdc-start-time "2022-06-08T 00:12:12" --table-mappings file://Table-mappings.json

Windows :

aws dms create-replication-task --replication-task-identifier validation-only-task --replication-task-settings '{"FullLoadSettings":{"TargetTablePrepMode":"DO_NOTHING"},"ValidationSettings":{"EnableValidation":true,"ValidationOnly":true}}' --replication-instance-arn

2.    Ouvrez la console AWS DMS, puis choisissez Tâches de migration de base de données dans le panneau de navigation.

3.    Vérifiez que la tâche que vous avez créée avec l'AWS CLI est créée.

4.    Dans la section Informations générales, développez les Paramètres de la tâche (JSON), puis vérifiez que ces paramètres sont bien en place :

"EnableValidation": true,
"ValidationOnly": true,
"TargetTablePrepMode": "DO_NOTHING",

Ces exemples créent une tâche CDC de validation uniquement. Utilisez les mêmes paramètres pour une tâche de validation uniquement à chargement complet, mais remplacez le --migration-type par full-load lorsque vous exécutez la commande create-replication-task.


Informations connexes

Exemple de paramètres de tâche

Limites

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a un an