Veröffentlicht am: Jun 26, 2020
Amazon Athena hat Unterstützung für Partitionsprojektion hinzugefügt, eine neue Funktionalität, mit der Sie die Abfrageverarbeitung stark partitionierter Tabellen beschleunigen und die Partitionsverwaltung automatisieren können.
Bei der Verarbeitung von Anfragen ruft Athena Metadaten-Informationen aus Ihrem Metadatenspeicher wie z. B. dem AWS Glue Data Catalog oder Ihrem Hive-Metastore ab, bevor die Partition gesäubert wird. In Fällen, in denen Ihre Tabellen eine große Anzahl von Partitionen haben, kann das Abrufen von Metadaten zeitaufwändig sein. Um dies zu vermeiden, können Sie die Partitionsprojektion verwenden. Die Partitionsprojektion ermöglicht Ihnen die Angabe von Konfigurationsinformationen wie z. B. die Muster (z.B. JJJJ/MM/TT), die üblicherweise zur Bildung von Partitionen verwendet werden. Dadurch erhält Athena die Informationen, die zum Aufbau von Partitionen erforderlich sind, ohne Metadateninformationen aus Ihrem Metadatenspeicher abzurufen. Athena liest die Partitionswerte und Speicherorte aus der Konfiguration und nicht aus einem Repository wie dem AWS Glue Data Catalog. Die Partitionsprojektion reduziert die Laufzeit von Abfragen in stark partitionierten Tabellen, da In-Memory-Vorgänge oft schneller sind als Remote-Operationen.
In unserer Dokumentation finden Sie detaillierte Informationen und Anwendungsbeispiele.