Publié le: Jun 26, 2020
Il existe depuis peu pour Amazon Athena un support pour la projection de partitions. Il s'agit d'une nouvelle fonctionnalité qui permet d'accélérer le traitement des requêtes de tables fortement partitionnées et d'automatiser la gestion des partitions.
Athena récupère, lors du traitement des requêtes, les informations de métadonnées de votre magasin de métadonnées tel qu'AWS Glue Data Catalog ou votre Hive Metastore avant de procéder à l'élagage des partitions. La récupération des métadonnées peut prendre beaucoup de temps lorsque vos tables comportent un grand nombre de partitions. Cela peut être évité en utilisant la projection de partition. Grâce à la projection de partitions, vous pouvez spécifier des informations de configuration telles que les motifs (par exemple, AAAA/MM/JJ) qui sont couramment utilisés pour former des partitions. Ainsi, Athena reçoit les informations nécessaires pour construire des partitions sans avoir à récupérer les informations de métadonnées de votre magasin de métadonnées. Il lit les valeurs et les emplacements des partitions à partir de la configuration, plutôt qu'à partir d'un référentiel comme le catalogue de données AWS Glue. La projection de partitions réduit la durée d'exécution des requêtes sur des tables fortement partitionnées car les opérations en mémoire sont souvent plus rapides que les opérations à distance.
Consultez les informations détaillées et les exemples d'utilisation dans notre documentation.