Pourquoi ma requête MSCK REPAIR TABLE n'ajoute-t-elle pas de partitions au catalogue de données AWS Glue ?

Brève description

Voici quelques causes courantes de cette erreur :

• L'utilisateur ou le rôle AWS Identity and Access Management (IAM) n'a pas une politique autorisant l'action glue:BatchCreatePartition.
• Le chemin d'accès Amazon Simple Storage Service (Amazon S3) est en camel case et non pas en minuscules (par exemple, userId au lieu de userid).

Solution

Autoriser glue:BatchCreatePartition dans la politique IAM

Vérifiez les politiques IAM attachées à l'utilisateur ou au rôle que vous utilisez pour exécuter MSCK REPAIR TABLE. Lorsque vous utilisez le catalogue de données AWS Glue avec Athena, la politique IAM doit autoriser l'action glue:BatchCreatePartition. Si la politique n'autorise pas cette action, Athena ne peut pas ajouter de partitions au metastore. Pour obtenir un exemple de politique IAM qui autorise l'action glue:BatchCreatePartition consultez Politique gérée AmazonAthenaFullAccess.

Mettre le chemin Amazon S3 en minuscules

Le nom du chemin Amazon S3 doit être en minuscules. Si le chemin est en camel case, MSCK REPAIR TABLE n'ajoute pas les partitions au catalogue de données AWS Glue. Par exemple, si le chemin Amazon S3 est userId, les partitions suivantes ne sont pas ajoutées au catalogue de données AWS Glue :

• s3://awsdoc-example-bucket/path/userId=1/
• s3://awsdoc-example-bucket/path/userId=2/
• s3://awsdoc-example-bucket/path/userId=3/

Pour résoudre ce problème, utilisez des minuscules au lieu de la casse camel :

• s3://awsdoc-example-bucket/path/userid=1/
• s3://awsdoc-example-bucket/path/userid=2/
• s3://awsdoc-example-bucket/path/userid=3/

Informations connexes

Partitionnement des données dans Athena

Actions, ressources et clés de condition pour Amazon Athena

Actions, ressources et clés de condition pour AWS Glue