投稿日: Jun 26, 2020
Amazon Athena は、Partition Projection のサポートを追加しました。これは、高度にパーティション化されたテーブルのクエリ処理を高速化し、パーティション管理を自動化するための新機能です。
クエリを処理する際、Athena は、パーティションプルーニングを実行する前に、AWS Glue データカタログや Hive Metastore などのメタデータストアからメタデータ情報を取得します。テーブルに多数のパーティションがある場合、メタデータの取得に時間がかかる可能性があります。パーティションプロジェクションは、これを回避するために使用できます。パーティションプロジェクションでは、パーティションの形成に一般的に使用されるパターン (例: YYYY/MM/DD) などの設定情報を指定できます。これにより、メタデータストアからメタデータ情報を取得せずに、パーティションを構築するために必要な情報が Athena に提供されます。Athena は、AWS Glue データカタログなどのリポジトリからではなく、設定からパーティションの値と場所を読み取ります。多くの場合、インメモリ操作はリモート操作よりも高速であるため、パーティションプロジェクションは、高度にパーティション分割されたテーブルに対するクエリの実行時間を短縮します。
使用例の詳細については、AWS のドキュメントを参照してください。