Je souhaite utiliser AWS Data Pipeline soit pour copier une table Amazon Relational Database Service (Amazon RDS) pour PostgreSQL vers une table Amazon RedShift, soit pour copier une table Amazon RDS pour MySQL vers une table Amazon RDS pour PostgreSQL. Comment puis-je faire ?
Les modèles Data Pipeline par défaut prennent en charge la copie d'une table Amazon RDS pour MySQL vers Amazon RedShift. Pour en savoir plus, consultez la page Amazon RDS to Amazon Redshift Templates. Vous pouvez également modifier les scripts du modèle par défaut pour copier une table dans d'autres types de base de données.
Téléchargez et utilisez ces scripts pour copier une table d'une base de données vers une base de données différente en utilisant Data Pipeline. Avant de commencer, mettez à jour le fichier de définition de l'exemple avec votre base de données, les détails d'instance EC2 et le chemin vers votre script shell hébergé dans Amazon Simple Storage Service (Amazon S3).
Copie d'une table Amazon RDS pour PostgreSQL vers une table Amazon RedShift via Data Pipeline
PostgresqlRdsToRedshift est un fichier de définition de pipeline exemple qui affiche toutes les activités et les objets du pipeline pour la copie d'une table Amazon RDS pour PostgreSQL vers une table Amazon RedShift. Ce fichier d'exemple se base sur le modèle de Data Pipeline par défaut utilisé pour copier une table MySQL vers une table Amazon RedShift. Il comprend les changements vers le script shell utilisé dans ShellCommandActivity. La séquence d'activités du pipeline se présente comme suit :
1. RDSToS3CopyActivity : CopyActivity copie une table RDS vers le chemin de simulation Amazon S3. CopyActivity monte l'intégralité de la table RDS vers l'instance EC2 qui exécute l'activité. Si vous avez besoin d'espace supplémentaire pour contenir l'intégralité de votre table RDS, allouez un volume EBS plus important à votre instance.
2. RedshiftTableCreateActivity : ShellCommandActivity crée la table Amazon RedShift cible. Cette activité exécute le script dbconv_psqlRDStoRedshift.sh qui est hébergé dans votre compartiment S3.
3. S3ToRedshiftCopyActivity : RedshiftCopyActivity utilise la commande COPY d'Amazon RedShift pour copier le fichier CSV Amazon S3 vers la table Amazon Redshift cible.
4. S3StagingCleanupActivity : ShellCommandActivity nettoie le fichier CSV Amazon S3 intermédiaire.
Copie d'une table Amazon RDS pour MySQL vers une table Amazon RDS pour PostgreSQLvia Data Pipeline
mysqlRDS-psqlRDS-copy-using-shell-definition.json est un fichier de définition de pipeline exemple qui affiche toutes les activités et les objets du pipeline pour la copie d'une table Amazon RDS pour MySQL vers une table Amazon RDS vers PostgreSQL. Ce fichier d'exemple se base sur le modèle de Data Pipeline par défaut utilisé pour copier une table MySQL vers une table Amazon RedShift. Il comprend les changements vers le script shell utilisé dans ShellCommandActivity. La séquence d'activités du pipeline se présente comme suit :
1. RDSToS3CopyActivity : CopyActivity copie la table RDS vers le chemin de simulation Amazon S3. CopyActivity monte l'intégralité de la table RDS vers l'instance EC2 qui exécute l'activité. Si vous avez besoin d'espace supplémentaire pour contenir l'intégralité de votre table RDS, allouez un volume EBS plus important à votre instance.
2. SyncS3CsvToEc2 : ShellCommandActivity synchronise le fichier CSV Amazon S3 vers le répertoire local de l'instance EC2. PostgreSQL RDS ne prend pas en charge la copie à partir d'Amazon S3.
3. JdbcTableCreateActivity : ShellCommandActivity crée la table cible dans la table Amazon RDS pour PostgreSQl et écrit les données de la table qui est synchronisée sur l'instance EC2 locale vers la table PostgreSQL cible. Cette activité exécute le script dbconv_mysqlRDS-to-postgresqlRDS.sh qui est hébergé dans votre compartiment S3.
4. S3StagingCleanupActivity : ShellCommandActivity nettoie le fichier CSV Amazon S3 intermédiaire.
Cette page vous a-t-elle été utile ? Oui | Non
Retour au Centre de connaissances AWS Support
Vous avez besoin d'aide ? Consultez le site du Centre AWS Support
Date de publication : 09/01/2018
