Amazon Athena のよくある質問

Q: Amazon Athena とは何ですか?

Amazon Athena はインタラクティブなクエリサービスで、Amazon S3 内のデータを標準 SQL を使用して簡単に分析できるようになります。Athena はサーバーが不要です。そのため、セットアップや管理のためのインフラストラクチャがなく、即座にデータ分析を開始できます。データを Athena にロードする必要もありません。S3 に保存されているデータと直接連係します。Athena マネジメントコンソールにログインし、スキーマを定義してクエリを開始するだけで開始できます。Amazon Athena では、標準 SQL をフルサポートした Presto を使用し、CSV、JSON、ORC、Apache Parquet、Avro を含むさまざまな標準データ形式で機能します。Amazon Athena は、すばやいアドホッククエリの実行に最適で、Amazon QuickSight と統合することで可視化が容易になりますが、大規模な結合、ウィンドウ関数、配列などの複雑な分析も処理できます。

 

Q: Amazon Athena で何ができますか?

Amazon Athena を使用すると、Amazon S3 に保存したデータを分析できます。Athena では、Athena にデータの集約やロードをしなくても、ANSI SQL を使用してアドホッククエリを実行できます。Amazon Athena では、非構造化、半構造化、構造化データセットを処理できます。例えば、CSV、JSON、Avro などのデータ形式や、Apache Parquet や Apache ORC などの列指向データ形式などです。Amazon Athena を Amazon QuickSight と統合することにより、可視化が容易になります。また、Amazon Athena では、 ODBC ドライバーや JDBC ドライバー経由で接続して、ビジネスインテリジェンスツールや SQL クライアントを使ったレポートの生成やデータの調査を行えます。

 

Q: Amazon Athena の使用を開始するにはどうすればよいですか?

Amazon Athena の使用を開始するには、Athena の AWS マネジメントコンソールにログインして、コンソールに DDL ステートメントを記述するか、テーブル作成ウィザードを使用してスキーマを作成します。その後、組み込みのクエリエディタを使用して、データのクエリを開始できます。Athena では、Amazon S3 から直接データがクエリされるため、ロードは必要ありません。

 

Q: Amazon Athena にアクセスするにはどうすればよいですか?

AWS マネジメントコンソール、API、ODBC ドライバーや JDBC ドライバーを使用して Amazon Athena にアクセスできます。 ODBC ドライバーや JDBC ドライバーを使用して、クエリの実行、テーブルやパーティションの追加をプログラムで実行できます。

 

Q: Amazon Athena に関連するサービスの上限はどのくらいですか?

サービスの上限に関する詳細については、 ここをクリック

 

Q: Amazon Athena ではどのような基盤テクノロジーが使用されていますか?

Amazon Athena では、標準 SQL をフルサポートした Presto を使用し、CSV、JSON、ORC、Avro、Parquet を含むさまざまな標準データ形式で機能します。Athena では大規模な結合、ウィンドウ関数、配列などの複雑な分析を処理できます。Amazon Athena は基盤となるデータストアとして Amazon S3 を使用するため、複数の施設および各施設内の複数のデバイスにまたがって冗長的に保存されたデータにより、高い可用性と耐久性が実現されます。Presto の詳細については、 こちらを参照してください。

 

Q: Amazon Athena ではテーブル定義とスキーマがどのように保存されますか?

Amazon Athena では、マネージド型のデータカタログを使用して、Amazon S3 の保存データ用に作成したデータベースとテーブルに関する情報やスキーマを保存します。AWS Glue が利用可能なリージョンでは、アップグレードにより Amazon Athena で AWS Glue データカタログを使用できます。AWS Glue が提供されていないリージョンでは、Athena で内部カタログが使用されます。

このカタログは、DDL ステートメントを使用するか、AWS マネジメントコンソールから修正できます。定義したスキーマは、明示的に削除しない限り、自動的に保存されます。Athena では、スキーマオンリード技術を使用しているため、クエリ実行時に S3 のデータに適用されたテーブル定義が実行されます。データのロードや変換は必要ありません。テーブル定義やスキーマは、Amazon S3 に保存されている基礎データに影響を与えることなく削除できます。

 

Q: AWS Glue データカタログへのアップグレードを検討する理由にはどのようなものがありますか?

AWS Glue は完全マネージド型 ETL サービスです。Glue の主要コンポーネントは、(1) データソースを自動的にスキャンし、データ形式を特定して、スキーマを推論するクローラー、(2) データ変換とさまざまな宛先へのデータ移動を実行できる完全マネージド型 ETL サービス、(3) S3、ODBC、または JDBC 準拠のデータストアに保存されているデータベースとテーブルに関するメタデータ情報を保存するデータカタログの 3 つです。Glue の利点を活用するには、Athena が使用する内部データカタログを Glue データカタログにアップグレードする必要があります。

Glue データカタログにアップグレードすることで、次の利点が得られます。

Glue データカタログの詳細については、 こちらをクリックしてください。

 

Q: AWS データカタログへの詳細なアップグレード手順は用意されていますか?

はい。詳細な手順については、 こちらをご覧ください。

 

Q: Amazon Athena は、どのリージョンで利用できますか?

Amazon Athena サービスのリージョン別の可用性の詳細については、 リージョンの製品およびサービスを参照してください。

Q: Athena ではどのようなプレビュー版の機能を利用できますか?

Athena SQL クエリで SageMaker 機械学習 (ML) モデルを呼び出し、推論の実行ができるようになりました。SQL クエリで機械学習モデルを使用する機能により、異常検出、カスタマーコホート分析、売上予想などの複雑なタスクは、SQL クエリを記述するのと同じくらい簡単になります。 詳細。

 

ユーザー定義関数 (UDF) を使用して、Java で独自の関数を記述して Athena SQL クエリでその関数を呼び出すことができるようになりました。 詳細。

 

Q: プレビュー版の機能をテストするにはどうすればよいですか?

ワークグループの AmazonAthenaPreviewFunctionality から実行する Athena のクエリは、すべてプレビューテストのクエリとして処理されます。Athena API または Athena UX を使用して、新しいワークグループの AmazonAthenaPreviewFunctionality を作成し、設定できます。新しいワークグループを作成するには、 こちらの手順を実行してください。

 

次の注意事項はプレビュー版の機能を使用するにあたって重要です。ワークグループ名は編集しないでください。Enable CloudWatch メトリクスや Enable Requester Pays など他のワークグループプロパティは編集できます。Athena コンソール、JDBC/ODBC ドライバーまたは API を使用して、テストクエリを送信できます。テストクエリを送信する際は、ワークグループを必ず AmazonAthenaPreviewFunctionality と指定してください。プレビュー版の機能は us-east-1 リージョン、us-west-2、ap-south-1、eu-west-1 リージョンでのみ利用可能です。他のリージョンで Athena を使用して、ワークグループの AmazonAthenaPreviewFunctionality でクエリを送信すると、クエリは失敗します。プレビューモードでは、AWS リージョン間での呼び出しはサポートされていません。

 

Q: 本番用アカウントで Athena のプレビュー版の機能を使用しても安全ですか?

本番ワークロードをプレビュー用ワークグループの AmazonAthenaPreviewFunctionality に含めることは推奨しません。 プレビュー用ワークグループとアカウント内の他のワークグループでは、クエリパフォーマンスが異なることがあります。また、後方互換性のない場合があるプレビュー用ワークグループに新しい機能やバグ修正を追加する可能性があります。

 

Q: クエリをどのように送信すればよいですか?

Athena コンソールや Athena API を使用してクエリを送信できます。また、 Athena のプレビュー版 JDBC ドライバーを使用して、SQL WorkBench といった既製のクエリおよび結果可視化ツールで送信することもできます。

 

Q: プレビュー版の機能についてフィードバックを送るにはどうすればよいですか?

お客様からのフィードバックは AWS にとって重要です。athena-feedback@amazon.com まで E メールでフィードバックをお送りください。

 

Q: プレビュー版の機能のテストに料金はかかりますか?

プレビュー期間中にフェデレーションデータソースからスキャンされたデータに対しては、課金されません。ただし、Amazon S3 からスキャンされたデータは、標準の Athena のレートで課金されます。さらに、Amazon S3、AWS Lambda、AWS Glue、Amazon SageMaker、AWS Serverless Application Repository など、Athena で使用する AWS のサービスの標準レートに基づいた料金が請求されます。例えば、ストレージ、リクエスト、リージョン間データ転送は S3 レートで課金されます。デフォルトでは、クエリ結果は選択した S3 バケットに保存され、Amazon S3 の標準料金が請求されます。AWS Lambda を使用する場合、関数に対するリクエストの数とコードの実行時間に基づいて課金されます。

 

Q: プレビューが終了するとどうなりますか?

ワークグループの AmazonAthenaPreviewFunctionality を使用して送信したクエリはすべて失敗します。他のワークグループからは引き続きクエリを送信できます。ワークグループを指定しない場合、クエリは自動的にデフォルトのプライマリワークグループを使用して実行されます。機能のプレビューは随時終了する可能性があることにご注意ください。

Q: Amazon Athena、Amazon EMR、Amazon Redshift の違いは何ですか?

Amazon Athena などのクエリサービス、Amazon Redshift などのデータウェアハウス、Amazon EMR などの洗練されたデータ処理フレームワークはすべて、異なるニーズおよびユースケースに対応します。その作業に適したツールを選択する必要があります。Amazon Redshift では、特に複数の結合やサブクエリを伴うきわめて複雑な SQL を使用する場合に、エンタープライズレポートやビジネスインテリジェンスワークロードで高速なクエリパフォーマンスが利用できます。Amazon EMR を使用すると、オンプレミスのデプロイと比較して、Hadoop、Spark、Presto などの高度に分散された処理フレームワークをシンプルでコスト効率の高い方法で実行できます。Amazon EMR は柔軟性を備えています。カスタムアプリケーションやコードを実行し、詳細なコンピューティング、メモリ、ストレージ、およびアプリケーションパラメータを定義して、分析要件を最適化できます。Amazon Athena を使用すると、サーバーのセットアップや管理をしなくても、S3 内のデータに対してアドホッククエリを簡単に実行できます。

 

Q: Amazon Redshift のようなフル機能のエンタープライズデータウェアハウスと、Amazon Athena のようなクエリサービスはどのように使い分ければよいですか?

Amazon Redshift のようなデータウェアハウスは、在庫システム、金融システム、および小売販売システムなどのさまざまなソースからデータを一般的な形式で取得し、長期間保存して、履歴データから洗練されたビジネスレポートを構築する必要がある場合に適しています。こうした場合には、Amazon Redshift のようなデータウェアハウスは最適です。

 

データウェアハウスは、企業全体からデータを収集し、「信頼できる唯一の情報源」としてレポート生成および分析に使用できます。データウェアハウスでは、多くのソースからデータが取得され、形式化および整理され、保存されます。また、ビジネスレポートの生成を行う複雑で高速なクエリに対応しています。Amazon Redshift のクエリエンジンは、非常に大規模なデータベーステーブルを多数結合する複雑なクエリを実行する必要がある場合のユースケースで、パフォーマンスを特に発揮するように最適化されています。TPC-DS は、このユースケースをレプリケートするために設計された標準のベンチマークで、Redshift では、これらのクエリを非構造化データ用に最適化されているクエリサービスと比べて最大 20 倍高速で実行します。非常に大規模な多数のテーブル間で多数の結合がある、高度に構造化されたデータに対してクエリを実行する必要がある場合は、Amazon Redshift をお勧めします。

 

これに対して、Amazon Athena のようなクエリサービスを使用すると、データの形式化やインフラストラクチャの管理について心配することなく、Amazon S3 のデータに対して直接インタラクティブにクエリを実行できます。例えば、Athena は、一部のウェブログですばやくクエリを実行し、サイトのパフォーマンス問題のトラブルシューティングのみが必要とされる場合に適しています。クエリサービスを使用すると、迅速に開始できます。データのテーブルを定義し、標準 SQL を使用してクエリを開始するのみです。

 

また、両方のサービスを併用することもできます。Amazon Redshift にロードする前に、Amazon S3 でデータをステージングすると、そのデータも Amazon Athena で登録され、クエリを実行できます。

 

Q: Amazon EMR とAmazon Athena はどのように使い分ければよいですか?

Amazon EMR の機能は、単なる SQL クエリの実行をはるかに超えるものです。EMR を使用すれば、機械学習、グラフ分析、データ変換、ストリーミングデータ、および実質的にコード可能なすべてのアプリケーション向けに、スケールアウトする幅広いデータ処理タスクを実行できます。Spark、Hadoop、Presto、Hbase などの最新のビッグデータ処理フレームワークを使って、きわめて大規模なデータセットを処理および分析するためにカスタムコードを使用する場合は、Amazon EMR を使用できます。Amazon EMR では、クラスターの構成や、インストールされているソフトウェアを完全に制御できます。

 

Amazon S3 のデータに対して、インフラストラクチャやクラスターを管理せずにインタラクティブなアドホック SQL クエリを実行する場合は、Amazon Athena を使用できます。

 

Q: Amazon EMR を使用して処理するデータへのクエリに Amazon Athena を使用できますか?

はい。Amazon Athena では Amazon EMR と同じデータ形式の多くがサポートされています。Athena のデータカタログは Hive のメタストアと互換性があります。EMR を使用していて、既に Hive のメタストアを所有している場合、Amazon Athena で DDL ステートメントを実行するだけで、Amazon EMR ジョブに影響を与えずに即座にデータのクエリを開始できます。

 

Q: Athena の横串検索は AWS の他のサービスとどのように関連していますか?

Athena の横串検索を使用すると、リレーショナルデータソース、非リレーショナルデータソース、カスタムデータソースなどの幅広いデータソースに対して SQL クエリを実行できます。さまざまなデータストアに対して SQL クエリを実行するための統合された方法として利用できます。

 

Q: Athena での機械学習は AWS の他のサービスとどのように関連していますか? [プレビュー]

Athena の SQL クエリにより、Amazon SageMaker でデプロイした機械学習モデルを呼び出すことができます。Athena のこのような SQL クエリの結果を保存する Amazon S3 の場所を指定できます。

Q: Amazon S3 でデータのテーブルやスキーマをどのように作成できますか?

Amazon Athena では Apache Hive DDL を使用してテーブルを定義します。DDL ステートメントの実行には、Athena コンソール、 ODBC ドライバー、JDBC ドライバー、API、Athena テーブル作成ウィザードを使用できます。Athena で AWS Glue データカタログを使用している場合、Glue クローラーにより自動的にスキーマとパーティションを推論することもできます。AWS Glue クローラーはデータストアに接続すると、分類子の順位リストに従ってデータからスキーマやその他の情報を抽出し、得られたメタデータを Glue データカタログに入力します。クローラーは定期的に実行され、新しいデータの追加、既存データの変更、テーブル定義の変更が検知されます。クローラーにより、新しいテーブル、既存テーブルの新しいパーティション、テーブル定義の新しいバージョンが自動的に追加されます。Glue クローラーは、独自のファイル形式を分類できるようにカスタマイズできます。

 

Amazon Athena で新しいテーブルスキーマを作成すると、スキーマがデータカタログに保存され、クエリを実行するときに使用されますが、S3 内のデータは変更されません。Athena では、スキーマオンリードと呼ばれるアプローチを使用します。このため、クエリの実行時にデータ上にスキーマを射影できます。これにより、データのロードや変換が不要になります。詳細については、 テーブルの作成を参照してください。

 

Q: Amazon Athena ではどのデータ形式がサポートされていますか?

Amazon Athena では、CSV、TSV、JSON、または Textfiles などの幅広いデータ形式がサポートされます。また、Apache ORC や Apache Parquet などのオープンソース列指向形式もサポートされています。Athena では、Snappy 形式、Zlib 形式、LZO 形式、GZIP 形式での圧縮データもサポートされています。圧縮、パーティション化、列指向形式の使用により、パフォーマンスを向上し、コストを削減できます。

 

Q: Amazon Athena ではどのデータ型がサポートされていますか?

Amazon Athena は、INTEGER、DOUBLE、VARCHAR などのシンプルなデータ型と MAPS、ARRAY、STRUCT などの複雑なデータ型の両方がサポートされています。 

 

Q: Athena で Hive クエリを実行できますか?

Amazon Athena では、Hive を DDL (データ定義言語) 用や、テーブルおよび/またはパーティションの作成、変更、削除にのみ使用します。サポートされているステートメントすべての一覧については、 こちらをクリックしてください。Amazon S3 で SQL クエリを実行する場合、Athena では Presto が使用されます。Amazon S3 のデータをクエリする場合、ANSI 準拠 SQL SELECT ステートメントを実行できます。

 

Q: SerDe とは何ですか?

SerDe は、シリアライザー/デシリアライザーの略称です。Hive にデータ形式の解釈方法を指定するライブラリです。Hive DLL ステートメントでは SerDe を指定する必要があるため、指定されているデータの解釈方法がシステムで把握されます。Amazon Athena では SerDes を使用して、Amazon S3 から読み込んだデータを解釈します。Athena での SerDes の概念は、Hive で使用されている概念と同じです。Amazon Athena では、以下の SerDes をサポートしています。

 

Q: 独自の SerDe (シリアライザー/デシリアライザー) を Amazon Athena に追加できますか?

現在、独自の SerDe を Amazon Athena に追加できません。フィードバックをお寄せください。追加された SerDes を確認したい場合は、Athena チーム ( Athena-feedback@amazon.com) にお問い合わせください。

 

Q: Spark または Hive を使用して Parquet ファイルまたは ORC ファイルを作成しました。Athena 経由でクエリを実行できますか?

はい。Spark 経由で作成した Parquet ファイルや ORC ファイルは、Athena で読み込むことができます。

 

Q: Kinesis Firehose から取得したデータがあります。Athena を使用してクエリを実行するにはどうすればよいですか?

Kinesis Firehose データが Amazon S3 に保存されている場合は、Amazon Athena を使用してクエリを実行できます。Athena でデータのスキーマを作成し、クエリを開始するのみです。パフォーマンスを最適化するため、データをパーティションにまとめることをお勧めします。ALTER TABLE DDL ステートメントを使用して、Kinesis Firehose で作成したパーティションを追加できます。詳細については、 パーティションを参照してください。

 

Q: Amazon Athena ではデータのパーティション化をサポートしていますか?

はい。Amazon Athena では、任意の列でデータを分割できます。パーティションにより、各クエリスキャンのデータ量を制限できます。これにより、コストを節約し、パフォーマンスを向上できます。CREATE TABLE ステートメントで PARTITIONED BY 節を使用して、パーティションスキームを指定できます。詳細については、 データのパーティション化を参照してください。

 

Q: Amazon Athena で既存のテーブルに新しいデータを追加するにはどうすればよいですか?

データが分割されている場合は、新しいデータが Amazon S3 で使用可能になった後、メタデータクエリ (ALTER TABLE ADD PARTITION) を実行して Athena にパーティションを追加する必要があります。データが分割されていない場合は、新しいデータ (またはファイル) を既存のプレフィックスに追加すると、データが自動的に Athena に追加されます。詳細については、 データのパーティション化を参照してください。

 

Q: Amazon S3 内に既に大量のログデータがあります。Amazon Athena を使用して、クエリを実行できますか?

はい。Amazon Athena を使用すると、既存のログデータで簡単に標準 SQL クエリを実行できます。Athena では、Amazon S3 から直接データをクエリするため、データの移動やロードは必要ありません。DDL ステートメントを使用してスキーマを定義するだけで、即座にデータのクエリを開始できます。

Q: Amazon Athena ではどの種類のクエリがサポートされていますか?

Amazon Athena では、ANSI SQL クエリがサポートされています。Amazon Athena では、オープンソースでインメモリの分散型 SQL エンジンである Presto が使用されているため、大規模な結合、ウィンドウ関数、配列を含む複雑な分析を処理できます。

Q: Amazon QuickSight と Amazon Athena を併用できますか?

はい。Amazon Athena と Amazon QuickSight を統合することにより、Amazon S3 に保存したデータの可視化が容易になります。

Q: Athena では他の BI ツールや SQL クライアントをサポートしていますか?

はい。Amazon Athena には、他のビジネスインテリジェンスツールや SQL クライアントで使用できる ODBC ドライバーや JDBC ドライバーが付属しています。詳細については、Athena の ODBCドライバーや JDBC ドライバーを参照してください。

Q: Amazon Athena でサポートされている関数をどのように利用できますか?

Amazon Athena でサポートされている関数の詳細については、 こちらをクリックしてください。

 

Q: クエリのパフォーマンスを改善するにはどうすればよいですか?

クエリのパフォーマンスは、データの圧縮、パーティション化、または列指向形式への変換によって改善できます。Amazon Athena では、Apache Parquet や Apache ORC などのオープンソースの列指向データ形式がサポートされています。データを圧縮した列指向形式に変換することで、クエリ実行時に Athena が S3 からスキャンするデータ量を低減できるため、コストが削減されてクエリのパフォーマンスが向上します。

 

Q: Athena ではユーザー定義関数 (UDF) をサポートしていますか? [プレビュー]

Amazon Athena では現在、ユーザー定義関数 (UDF) をサポートしています。カスタムスカラー関数を記述して、SQL クエリでその関数を呼び出すことができます。Athena では組み込み関数を提供するとともに、UDF もサポートしているため、データの圧縮や解凍、機密データの編集、カスタマイズされた復号の適用など独自の処理を実行できます。

Athena Query Federation SDK を使用し、UDF を Java で記述できます。Athena に送信された SQL クエリで UDF を使用する場合、AWS Lambda で呼び出しや実行が処理されます。UDF を SQL クエリの SELECT 句および FILTER 句で使用できます。複数の UDF を同じクエリで呼び出すことができます。

 

Q: UDF を記述する場合のユーザー環境は何ですか? [プレビュー]

Athena Query Federation SDK を使用して UDF を記述できます。UDF のサンプルについては、 こちらを参照してください。 関数を AWS Lambda にアップロードして、Athena クエリで呼び出すことができます。使用を開始するには、 こちらをクリックしてください。

 

Athena では、複数のデータセット行をバッチ処理して UDF を呼び出し、パフォーマンスを最適化しています。

Q: Athena でフェデレーションクエリを使用する必要があるのはなぜですか?

多くの場合、デベロッパーが S3 にデータを保存する際には、リレーショナル、キー値、ドキュメント、インメモリ、検索、グラフ、時系列、台帳といった型のデータベースを選択します。幅広い種類のデータソースに散らばったデータを分析するのは、複雑で時間がかかります。多くの場合、アナリストは、データを分析する前に、新しいプログラミング言語とデータベース構造について学習し、データを抽出、変換、コピーするための複雑なパイプラインを構築する必要があります。同様に多くの場合、データサイエンティストは、特徴抽出とトレーニングに適したデータセットを作成するために、複数のデータソースからデータを抽出する必要があります。このプロセスは、時間がかかり、複数のデータソースからのデータ抽出を可能にするパイプラインをアナリストやデータサイエンティストが簡単に作成できるセルフサービスプラットフォームの構築を困難にしている要因になります。通常、アナリストは、そのようなパイプラインの構築をデータエンジニアリングチームに頼らざるを得ないため、作業に遅れが発生し、複雑になってしまいます。フェデレーションクエリを使用すると、使い方が簡単でクエリ単位で課金されるサーバーレスサービスが提供され、さまざまなデータストアに対して SQL クエリを実行できるため、そうした複雑さを削減できます。よく知っている SQL 構文を使用して、複数のデータソースに対してデータのクエリを実行できます。また、スケジューリングされた SQL クエリを使用して、複数のデータソースからデータを抽出、変換し、そのデータを S3 に保存して今後の分析で利用することができます。

 

さらに、独自またはカスタムのデータベースやカタログを使用できます。Athena のフェデレーションクエリは拡張可能で、独自のコネクタを記述することや、コミュニティで開発されたコネクタを使用することができます。このコネクタを使用すれば、任意のあらゆるデータソースやカスタムカタログに対して SQL クエリを実行できます。そのようなデータソースのいくつかについては、オープンソースのリファレンス実装が用意されており、新しいコネクタを開発する際のベースとして使用できます。

 

Q: Athena のフェデレーションクエリでは、どのようなユースケースがサポートされていますか?

Athena のフェデレーションクエリでは、さまざまなユースケースがサポートされています。例えば、アドホック分析がサポートされています。アドホック分析では、多くの場合、さまざまなデータソースにデータが保存されています。ある e コマース企業が、Amazon ElasticCache Redis を使用してアクティブな注文を保存し、Amazon DocumentDB または MongoDB を使用して顧客に関する情報 (E メールアドレスやお届け先住所など) を保存し、(カスタムデータストアなどの) Amazon CloudWatch Logs を使用して注文処理アプリケーションのログイベントを記録しているとします。そして、納入が遅れていると報告された特定の注文について、何が起こったのか知りたいとします。そのような場合、簡単なクエリを実行するだけで、複数のデータソースにばらばらに保存されているデータを結合してすばやく分析を行うことができます。

 

別の例として、複数のデータソースに対して ETL を実行する場合が挙げられます。分析を実行する際、多くの場合、データウェアハウスに保存したり、Athena、Apache Spark、Apache Presto などのエンジンを使用してクエリを実行したりできるように、複数のデータソースからデータを収集して整理する必要があります。そのような処理を行うには、スケジュールに基づいて複数のデータソースからデータを抽出して変換できるデータパイプラインを構築する必要があります。データパイプラインを構築するには、多くの場合、Python や Java などのプログラミング言語を新たに学習するか、Apache Spark のような大規模分散システムを使用する必要があります。多くの場合、アナリストは、そのようなパイプラインの構築をデータエンジニアリングチームに頼らざるを得ません。Athena のフェデレーションクエリを使用すると、誰でもパイプラインを SQL ステートメントとして記述でき、スケジュールに基づきパイプラインが実行されるように設定できます。

 

3 つ目の例として、機械学習のためのデータ抽出が挙げられます。多くの場合、データサイエンティストは、特徴抽出とトレーニングに適したデータセットを作成するために、複数のデータソースからデータを抽出する必要があります。このプロセスは、時間がかかり、セルフサービスプラットフォームの構築を困難にしている要因となります。

 

Q: Athena のデータソースコネクタはどのように機能しますか?

データソースを Athena に登録すると、新しいデータストアに対して SQL クエリを実行できるようになります。データソースを登録するには、データソースに固有の Athena Data Source Connector を使用します。コネクタを使用すると、新しいデータソースに対して Athena のクエリを実行できるようになります。AWS が提供するオープンソースのコネクタを使用するか、独自のコネクタを構築する (または既存のコネクタに手を加える) か、ユーザーコミュニティやマーケットプレイスで構築されたコネクタを使用することができます。コネクタでは、データソースの種類に応じて、メタデータ情報が管理され、テーブル内のスキャンすべき部分が特定され、データの読み込みまたはフィルタリングが行われ、並列処理が管理されます。

 

コネクタは、お客様のアカウントにおいて AWS Lambda 関数として実行されます。各コネクタは、データソースに固有の 2 種類の Lambda 関数 (メタデータ用の Lambda 関数とレコード読み込み用の Lambda 関数) で構成されています。Github リポジトリにあるコードを使用して Lambda 関数をデプロイできます。または、AWS Serverless Application Repository にあるデプロイ済みの Lambda 関数を使用することもできます。Lambda 関数をデプロイすると、一意の Amazon リソースネーム (ARN) が生成されます。この ARN を Athena に登録する必要があります。ARN を登録することで、Athena はクエリ実行時にどの Lambda 関数とデータをやり取りすればよいかを認識します。ARN を登録すると、登録されたデータソースに対してクエリを実行できるようになります。各データソースについて、この手順を行う必要があります。

 

フェデレーションデータソースに対してクエリを実行すると、Athena によって複数の Lambda 呼び出しが開始され、メタデータとデータが同時に読み込まれます。同時に呼び出される Lambda 関数の数は、お客様のアカウントにおける Lambda 関数の最大同時実行数によって決まります。例えば、お客様のアカウントにおいて Lambda 呼び出しを 300 個まで同時に実行できる場合、Athena によって最大 300 個の Lambda 関数が同時に呼び出されてレコードが読み込まれます。2 つのクエリを同時に実行する場合、Athena によって同時実行される呼び出しの数は 2 倍になります。独自の上限を設けることで、データソースのコストとスループットを管理できます。

 

Q: Athena の横串検索ではどのようなコネクタを使用できますか?

Athena には、Apache HBase、Amazon DocumentDB、Amazon DynamoDB、Amazon CloudWatch Logs および CloudWatch メトリクスに接続するためのオープンソースのデータソースコネクタが用意されています。また、Athena には、JDBC に準拠したデータソースに接続するための汎用 JDBC コネクタと、AWS リソースのメタデータに対してクエリを実行できる AWS Configuration Management Database (CMDB) コネクタが用意されています。

 

Q: Query Federation SDK をどのように使用すればよいですか?

Query Federation SDK を使用すると、Athena でデータソースへのクエリを実行する際に使用できる独自のコネクタを作成できます。各コネクタにはテンプレート実装が用意されています。テンプレートをベースとして使用できます。使用を開始するには、 AWS ドキュメントを参照してください。

 

Q: 横串検索機能を ETL に使うことはできますか? どのようなワークフローになりますか?

Athena のすべてのクエリ結果は、お客様が設定した Amazon S3 のロケーションに保存されます。Athena のフェデレーションクエリ機能を使用すると、SQL クエリを 1 回実行するだけで、お客様が選択したデータソースをスキャンするクエリが実行され、その結果が S3 に保存されます。JOIN 句や FILTER 句といった一般的な SQL 構文がサポートされています。また、Athena の UDF 機能を使用して、結果データセットを前処理または後処理するための独自の関数を定義できます。

 

Q: Java 以外のプログラミング言語をサポートする SDK をリリースする予定はありますか?

サポートを希望するプログラミング言語がある場合は、athena-feedback@amazon.com に E メールでお知らせください。

 

Q: 現在わかっている Query Federation SDK の制約事項は何ですか?

プレビュー版の Query Federation SDK では、読み込みを行う Java ベースの Lambda 関数のみサポートされています。

Q: 組み込みの機械学習に関して、Athena ではどのようなユースケースがサポートされていますか? (プレビュー)

Athena では、以下に示す例のように、さまざまな業界の機械学習に関するユースケースがサポートされています。財務リスクのデータアナリストは、what-if 分析やモンテカルロシミュレーションを実行できます。ビジネスアナリストは、線形回帰や予測モデルを実行して今後の予測値を得ることで、収益予測のために先見性のある高度なビジネスダッシュボードを作成できます。マーケティングアナリストは、k 平均法クラスタリングを使用して、さまざまな顧客セグメントの判断に役立てることができます。セキュリティアナリストは、(2 値または多変量の) ロジスティック回帰を使用することで、さまざまなログに基づいて異常やセキュリティインシデントを発見できます。

 

Q: Athena ではどのような機械学習モデルを使用できますか? (プレビュー)

Athena では、Amazon SageMaker にデプロイされたあらゆる種類の機械学習モデルを呼び出せます。お客様が所有するデータを使用して独自のモデルを柔軟にトレーニングできます。または、SageMaker にデプロイされたトレーニング済みのモデルを使用することもできます。例えば、新しいレコードを過去に使用したレコードと同じカテゴリに分類したい場合、お客様が所有するデータを使用してクラスター分析モデルをトレーニングするのがよいでしょう。一方、現実世界のスポーツイベントに関する予測を行いたい場合、既に公開されているデータをトレーニングデータとして使用できるため、一般に公開されているモデルを使用するのがよいでしょう。分野特有または業界特有の予測モデルは、通常、SageMaker にあるお客様のデータを使用してトレーニングしますが、一般的な機械学習の場合、外部のモデルを使用することができます。

 

Q: Athena を使用して機械学習をトレーニングできますか? (プレビュー)

Athena では、SageMaker 上でお客様の機械学習モデルをトレーニングしてデプロイすることはできません。Athena では、お客様の機械学習モデルをトレーニングするか、SageMaker にデプロイされた既存のトレーニング済みモデルを使用するかのいずれかの方法を選択できます。SageMaker でのトレーニング手順については、 こちらのドキュメントを参照してください。

 

Q: Comprehend や Forecasting などのサービスにデプロイされたモデル、または自分の EC2 クラスターにデプロイされたモデルに対して、推論を実行できますか? (プレビュー)

Athena では、SageMaker にデプロイされた機械学習モデルの呼び出しのみサポートされています。SageMaker 以外にも Athena を使用したいサービスがあるお客様のために、フィードバックを受け付けています。athena-feedback@amazon.com まで E メールでフィードバックをお送りください。

 

Q: SageMaker の推論で Athena のクエリを使用した場合、パフォーマンスにどのような影響が出ますか? (プレビュー)

AWS では、機能とサービスのパフォーマンスを常に改善しています。Athena での機械学習クエリのパフォーマンスを最適化するため、SageMaker にある機械学習モデルを呼び出して推論を実行するときには、複数の行がバッチ処理されるようになっています。現時点では、ユーザーによる行のバッチサイズ指定はサポートしていません。

 

Q: Athena の機械学習ではどのような機能がサポートされていますか? (プレビュー)

Athena では、SQL インターフェイスでラッピングされた、機械学習による推論 (予測) 機能を提供しています。また、Athena のユーザー定義関数 (UDF。プレビュー版にも含まれている) を呼び出して、結果セットの前処理ロジックまたは後処理ロジックを呼び出すこともできます。入力には、列、レコード、テーブルを含めることができます。また、複数の呼び出しをまとめてバッチ処理にしてスケーラビリティを高めることもできます。SELECT 句や FILTER 句で推論を実行できます。詳細については、 AWS のドキュメントをご覧ください。

 

Q: どのような機械学習モデルを使用できますか? (プレビュー)

Amazon SageMaker では、さまざまな機械学習アルゴリズムがサポートされています。また、独自の機械学習モデルを作成して Amazon SageMaker にデプロイすることもできます。例えば、新しいレコードを過去に使用したレコードと同じカテゴリに分類したい場合、お客様が所有するデータを使用してクラスター分析モデルをトレーニングするのがよいでしょう。一方、現実世界のスポーツイベントに関する予測を行いたい場合、公開されているデータをトレーニングデータとして使用できるため、一般に公開されているモデルを使用するのがよいでしょう。

 

分野特有または業界特有の予測モデルは、通常、SageMaker にあるお客様のデータを使用してトレーニングしますが、機械翻訳のような一般的な機械学習の場合、外部のモデルを使用することができます。

Q: 保管されているデータへのアクセスを制御するにはどうすればよいですか?

Amazon Athena では、AWS Identity and Access Management (IAM) ポリシー、アクセスコントロールリスト (ACL)、および Amazon S3 バケットポリシーを使用してデータへのアクセスを制御できます。IAM ポリシーにより、お客様は S3 バケットに対して細かいコントロールを IAM ユーザーに付与できます。S3 内のデータへのアクセスを制御することで、Athena を使用してクエリを実行するユーザーを制限できます。

 

Q: Athena では、Amazon S3 内の暗号化データをクエリできますか?

はい。Amazon S3 で管理された暗号化キーによるサーバー側の暗号化、AWS Key Management Service (KMS) で管理されたキーによるサーバー側の暗号化、KMS で管理されたキーによるクライアント側の暗号化を使用して暗号化されたデータのクエリを実行できます。また、Amazon Athena は KMS と統合されているため、結果セットを暗号化するオプションを利用できます。

 

Q: Athena は可用性に優れていますか?

はい。Amazon Athena は可用性が高く、複数の施設間でコンピューティングリソースを使用してクエリを実行するため、特定の施設に到達できない場合は、自動的に、クエリが適切にルーティングされます。Athena では Amazon S3 を基盤データストアとして使用しているため、データの高い可用性と耐久性が実現できます。Amazon S3 は重要なデータを保存するための耐久性のあるインフラストラクチャを提供し、オブジェクトの 99.999999999% の耐久性を実現するように設計されています。データは冗長化されて複数の施設に保存され、各施設で複数のデバイスに保存されます。

 

Q: 他のユーザーの S3 バケットへのクロスアカウントアクセスを実行できますか?

はい。Amazon S3 へのクロスアカウントアクセスを実行できます。

Q: Amazon Athena の料金はいくらですか?

Amazon Athena の料金はクエリ単位です。クエリでスキャンされたデータ量に基づいて課金されます。データは Amazon S3 にさまざまな形式で保存できます。データの圧縮、パーティション化、列指向ストレージ形式への変換を行った場合は、データのスキャン量が減るため、コストが低くなります。データを列指向形式に変換することで、クエリの処理に必要な列のみが Athena で読み込まれます。詳細については、Athena の 料金ページを参照してください。

 

Q: 列指向形式を使用するとコストが低くなるのはなぜですか?

Amazon Athena では、クエリごとにスキャンされたデータ量に対して課金されます。データを圧縮すると、Amazon Athena でスキャンするデータ量が低減します。データを列指向形式に変換すると、Athena では、データの処理に必要な列のみが選択的に読み込まれます。データのパーティション化により、Athena でスキャンするデータ量を制限できます。これにより、コストの削減とパフォーマンスの向上につながります。詳細については、 料金の例を参照してください。

 

Q: コストを削減するにはどうすればよいですか?

データの圧縮、パーティション化、列指向形式への変換により、クエリのコストが 30%～90% 削減され、パフォーマンスを向上できます。これらの各オペレーションにより、クエリを実行するために Amazon Athena でスキャンする必要があるデータ量が削減されます。Amazon Athena では、最も一般的なオープンソース列指向形式である Apache Parquet および ORC をサポートしています。クエリごとにスキャンされたデータ量は、Athena コンソールで確認できます。

 

Q: Amazon Athena でのクエリが失敗した場合、課金されますか?

いいえ。クエリが失敗した場合は課金されません。

 

Q: Amazon Athena でのクエリをキャンセルした場合、課金されますか?

はい。手動でクエリをキャンセルした場合、クエリをキャンセルした時点までにスキャンされたデータ量に対して課金されます。

 

Q: Amazon Athena に関連する追加料金はありますか?

Amazon Athena では Amazon S3 から直接データをクエリするため、ソースデータは S3 の料金に基づいて請求されます。Amazon Athena でクエリを実行すると、結果は選択した S3 バケットに保存され、これらの結果セットに対し S3 の標準料金が請求されます。これらのバケットをモニタリングし、ライフサイクルポリシーを使用して、保持するデータ量を管理することをお勧めします。

 

Q:Q: AWS Glue データカタログの利用には料金がかかりますか?

はい、AWS Glue データカタログのご利用には別途料金がかかります。Glue データカタログの料金の詳細については、 こちらをご覧ください。