Pourquoi Amazon Athena expire-t-il lors de l'interrogation de tables comportant de nombreuses partitions ?

Date de la dernière mise à jour : 30/07/2019

Ma table Amazon Athena comporte des dizaines ou des centaines de milliers de partitions. Athena expire lors de l'interrogation de la table. Toutefois, lorsque la table n'est pas partitionnée, la requête s'exécute normalement. D'où vient le problème et comment le résoudre ?

Brève description

Ce problème apparaît lorsque vous disposez de nombreuses partitions qui ne sont pas de type chaîne. Lorsque vous utilisez le type chaîne, Athena nettoie les partitions au niveau du metastore. Toutefois, lorsque vous utilisez d'autres types de données, Athena nettoie les partitions côté serveur. Plus le nombre de partitions est important, plus ce processus est long et plus vos requêtes risquent d'expirer.

Solution

Pour résoudre ce problème, définissez le type de partition chaîne. Ainsi, Athena nettoie les partitions au niveau du metastore. Cela réduit le temps de traitement et évite l’expiration des requêtes.


Cet article vous a-t-il été utile ?

Cette page peut-elle être améliorée ?


Vous avez besoin d'aide ?