大規模データセットも簡単クエリ! Amazon Athena をグラレコで解説

AWS が提供するデータ分析サービスには、Athena 以外にも Amazon Redshift (以下 Redshift) や Amazon EMR (以下 EMR) がありますが、それぞれ異なる用途に最適化されたサービスであり、ユースケースに応じて使い分けることができます。

Redshift は大量の構造化データを高速に処理するために最適化されたデータウェアハウスです。EMR は Apache Hadoop や Apache Spark などのフレームワークを使用して大規模なデータ処理ジョブを実行するためのマネージドサービスです。

一方、Athena は、構造化・非構造化を含む多彩なフォーマットのデータに対して、迅速かつ簡単にアドホックな SQL クエリを実行するのに適したサービスです。

常時分析が必要な大容量データには Redshift や EMR を利用し、スポット的な分析には高速かつ柔軟なクエリが可能な Athena を利用するといった使い分けが可能です。Athena は、Redshift や EMR と競合するサービスではなく、それぞれの特性を活かし、相互補完する形で併用することができます。

サーバーレス

Athena はサーバーレスアーキテクチャを採用しています。ユーザーはサーバーを自分で構築する必要がなく、メンテナンスに時間を費やす必要もありません。インフラ設定、ソフトウェアの更新、障害、スケーリングなどサーバー管理に付随する業務に悩まされることなく、データのクエリや分析に集中することができます。

利便性

Athena は、データをクエリする前に、データの事前加工や ETL (抽出、変換、ロード) 処理を必要としません。従来のデータウェアハウスやデータベースと異なり、データのロードや変換に時間やリソースを費やす必要がなく、S3 バケットに格納されたネイティブのデータに直接クエリを実行できます。

Athena では、以下のようなデータ形式をサポートしています。

• TSV：データの列をタブで区切るデータ形式
  
• CSV：データの列をコンマで区切るデータ形式
  
• JSON：キーと値のペアで構成され、配列やオブジェクトなどを含む階層的なデータ形式
  
• Amazon Ion：Amazon が開発し、オープンソース化された JSON のスーパーセットであるリッチタイプの自己記述データ形式
  
• Apache Avro：JSON に似た独自のスキーマ言語を使用するデータ形式
  
• ORC：Hadoop ベースのビッグデータ処理に使用されるカラムナ (列指向) フォーマット
  
• Apache Parquet：ORC 同様、Hadoop ベースのビッグデータ処理に使用されるカラムナ (列指向) フォーマット
  

以下は Athena を使用してクエリを実行するまでの一般的な手順です。

1. S3 にデータをアップロード
   CSV、JSON、Parquet など、Athena がサポートしているデータ形式でデータをアップロードします。
2. データカタログにテーブルスキーマを定義
   Athena コンソールで、S3 に保存されたデータの場所を指定し、スキーマを定義してデータカタログにテーブルを作成できます。
   Athena は、AWS Glue Data Catalog を使用してデータカタログを管理します。そのため、AWS Glue クローラを使用することで、S3 だけでなく、JDBC データベース、DynamoDB、Aurora、Redshift など、さまざまなデータストアからデータを抽出し、スキーマの作成、データカタログへの登録が可能です。
3. データに対しクエリを実行
   Athena コンソール、JDBC ドライバ、または API を使って SQL クエリを実行します。データカタログから作成されたテーブルを指定し、クエリを実行することで、データのフィルタリング、グループ化、集計などが行えます。
   

QuickSight と連携することで、ユーザーは直感的な操作でクエリ結果をグラフ化し、ダッシュボードを作成できます。その結果、データの中のビジネス上有用なインサイトを効率的に見つけ出すことができます。

以下は QuickSight を使ってビジュアライズする簡単な手順です。

1. QuickSight にログインし、新しい分析を作成する。
   
2. 「データソースの追加」から Athena を選択し、必要な列を選択してデータ定義を読み出す。
   
3. データをプレビューして、ビジュアルを作成するための適切な列を確認する。
   
4. ビジュアルを作成し、必要に応じてカスタマイズしてダッシュボードに追加する。
   

スキーマオンリード

Athena は、スキーマオンリード (schema-on-read) のクエリエンジンです。スキーマオンリードとは、データの読み込み時にスキーマはメタデータとして定義され、クエリの実行時にデータの射影が行われます。また、同じデータに複数のスキーマを使用することもできます。

外部テーブル

Athena のテーブルは、外部テーブルとして定義されます。つまり、Athenaは、テーブルのデータを直接管理せず、S3に保存されたデータを使用してクエリを実行します。外部テーブルの使用により、データストレージと計算リソースを分離でき、データを格納するためのストレージシステムは、Athena に依存することなく、独自に管理できます。

高度なクエリ

Presto および Trino は、高度な JOIN やウィンドウ関数、ネスト構造のクエリなどに対応しており、大規模なデータを高速に処理することができます。また、メモリー上で動作するインメモリクエリエンジンであり、データパーティションにも対応しています。これにより、コストを抑えながら高速かつ効率的なデータ処理を行うことができます。

多様なデータ型のサポート

Presto および Trino は、配列や構造体など、複雑なデータ型をサポートしています。これにより、データの多様性に柔軟に対応し、さまざまなデータフォーマットに対応することができます。

多様な関数のサポート

Athena で使用される Presto および Trino は、多数の関数を備え、文字列、日付、数値などの処理をより効率的に行うことができます。また、組み込み関数に加え、ユーザー定義関数 (UDF) もサポートされており、任意の関数を定義することでより柔軟なクエリを実行できます。

スキャンされたデータ量

Athena の利用料金は、スキャンされたデータ量に応じて発生します。スキャンされたデータ 1TB あたり 5USD が課金され、MB 単位で切り上げられます。また、最低料金は 10MB から発生します。つまり、少なくとも 10MB のデータをスキャンする場合は、10MB あたり 5USD の料金が発生します。

コスト削減

コスト削減の手段として、データの圧縮は効果的です。データ圧縮により、スキャンされるデータ量を減らすることで、結果としてクエリの実行時間やコストを削減することができます。

また、データのパーティショニングも、コスト削減のための有効な方法の 1 つです。データのパーティショニングにより、特定の列 (たとえば、日付列) を基準にデータを分割することで、必要なデータだけを取得することができます。不要なデータをスキャンする必要がなくなり、効率的なコスト削減が実現できます。

なお、CREATE TABLE など DDL ステートメントは無料で利用でき、失敗したクエリの再試行も無料で実行されます。