Pourquoi l'exécution de la commande MSCK REPAIR TABLE prend-elle beaucoup de temps ?

Résolution

Vous obtenez cette erreur, car Amazon Athena répertorie de manière récursive les préfixes et les objets dans Amazon Simple Storage Service (Amazon S3) lors de l'exécution de la commande MSCK REPAIR TABLE. Si vous avez trop de préfixes ou d'objets Amazon S3, la commande peut prendre beaucoup de temps à s'exécuter ou peut expirer.

Pour résoudre cette erreur, effectuez l'une des opérations suivantes :

• Utilisez un analyseur AWS Glue pour ajouter des partitions à vos tables Athena. Pour plus d'informations, consultez Définition des analyseurs. L'utilisation d'un analyseur AWS Glue peut réduire le temps nécessaire au chargement des partitions si vous avez beaucoup de préfixes Amazon S3. Pour plus d'informations, consultez Analyses incrémentielles dans AWS Glue.
• Ajoutez des partitions à la table à l'aide de la commande ALTER TABLE ADD PARTITION.

Envisagez d'utiliser la projection de partitions si vos partitions suivent des modèles prévisibles. Athena génère des partitions en mémoire, sans avoir besoin de les ajouter au catalogue de données AWS Glue ou de les extraire à partir du catalogue de données. Par conséquent, les temps de traitement des requêtes peuvent être réduits pour les tables fortement partitionnées.

Informations connexes

Pourquoi l'exécution de mes requêtes Athena prend-elle beaucoup de temps ?

Création de tables, mise à jour du schéma et ajout de nouvelles partitions dans le catalogue de données à partir de tâches ETL AWS Glue