Comment intégrer Amazon S3 à mon cluster de base de données Aurora compatible avec PostgreSQL ?

Brève description

Vous pouvez importer des données stockées dans un compartiment Amazon S3 dans une table sur un cluster de base de données Aurora compatible avec PostgreSQL. Tout d'abord, installez l'extension aws_s3 pour Aurora compatible avec PostgreSQL. Cette extension fournit les fonctionnalités nécessaires pour l'importation de données depuis un compartiment S3. Les données peuvent se trouver dans un fichier dont les valeurs sont séparées par des virgules (CSV), un fichier texte (txt) ou un fichier compressé (gzip). Votre base de données doit exécuter PostgreSQL version 10.7 ou ultérieure pour pouvoir être importée depuis Amazon S3 vers Aurora compatible avec PostgreSQL.

Pour intégrer votre cluster de base de données Aurora à un compartiment S3, suivez les étapes suivantes :

• Installation de l'extension aws_s3
• Configuration de l'accès à un compartiment S3
• Ajout de l'option au cluster Aurora
• Utilisation d'une requête psql pour importer ou exporter les données de la base de données

Solution

Installation de l'extension aws_s3

Pour installer l'extension aws_s3 qui vous permet de vous connecter à la base de données, exécutez la commande suivante :

postgres=> CREATE EXTENSION aws_s3 CASCADE;

Pour vérifier que l'extension aws_s3 est installée, utilisez la méta-commande psql \dx. Vous pouvez également utiliser cette requête à partir de n'importe quel outil client de base de données :

select * from pg_available_extensions where installed_version is not null;

Configuration de l'accès à un compartiment S3

Pour permettre à votre cluster Aurora compatible PostgreSQL d'accéder à Amazon S3, créez une politique AWS Identity and Access Management (IAM). Cette politique fournit les autorisations de compartiment et d'objet qui permettent à votre cluster de base de données d'accéder au compartiment S3.

Dans la politique IAM créée, ajoutez les actions nécessaires. Ces dernières permettent le transfert de fichiers depuis le compartiment S3 vers votre cluster de base de données :

• s3:GetObject
• s3:ListBucket
• s3:PutObject
• s3:AbordMultipartUpload

Pour plus d'informations, consultez la rubrique Configuration de l'accès à un compartiment Amazon S3.

Ajout de l'option au cluster Aurora

Ajoutez un rôle IAM à votre cluster à l'aide de la console Amazon Relational Database Service (Amazon RDS) ou de l'interface de la ligne de commande AWS (AWS CLI).

Utilisation de la console

1. Connectez-vous à la console Amazon RDS.
2. Dans le panneau de navigation, sélectionnez le cluster PostgreSQL que vous souhaitez modifier.
3. Sélectionnez l'onglet Connectivité et sécurité.
4. Dans la section Gérer les rôles IAM, sous Ajouter des rôles IAM à cette instance, choisissez le rôle que vous souhaitez ajouter.
5. Sous Fonction, sélectionnez s3Export, puis cliquez sur Ajouter un rôle.

Importation ou exportation de données depuis la base de données

Importez des données vers votre cluster PostgreSQL depuis le compartiment S3 ou exportez des données vers votre compartiment S3 depuis votre cluster PostgreSQL.

Pour plus d'informations, consultez Exporter et importer des données depuis Amazon S3 vers Amazon Aurora PostgreSQL (langue française non garantie).

Une fois ces étapes terminées, importez des données vers un cluster Aurora compatible avec PostgreSQL depuis Amazon S3 à l'aide de la fonction aws_s3.table_import_from_s3. Vous pouvez exporter des données depuis un cluster Aurora compatible PostgreSQL vers Amazon S3 à l'aide de la fonction aws_s3.query_export_to_s3.

---