投稿日: Jun 8, 2023
Amazon Athena for Apache Spark では、独自の Java ライブラリを使用して、Spark ワークロードに合わせて Spark 設定をカスタマイズできるようになりました。Athena Spark では、Java ライブラリをカスタム JAR として使用して複数のソースから取得したデータを分析したり、カスタム JAR 内の関数を使用してより柔軟に計算したりできます。
Amazon Athena for Apache Spark は、Apache Spark で 1 秒以内にインタラクティブ分析を実行し、ペタバイトのデータを分析できるようにする Amazon Athena の機能です。独自の Java ライブラリとモジュールを (JAR ファイルとして) Sparkワークロードに組み込み、さまざまなデータソースに接続し、ユーザー定義関数を使用した高度な計算を実行して、機能探索を実行できるようになりました。さらに、Athena で Spark 設定をセッション用に設定することもできます。例えば、Java パッケージに必要なカスタム設定を指定したり、複数のアカウントで AWS Glue カタログにアクセスしてデータメッシュのようなデザインパターンをサポートしたりすることができます。このリリースには、Amazon CloudWatch Logs、CloudWatch メトリクス、Amazon DynamoDB 向けの一連のリファレンスコネクタパッケージが含まれており、サービスのデータをインサイトに使用することができます。
カスタム Java ライブラリおよびカスタム Spark 設定のサポートは、Amazon Athena for Apache Spark が利用可能な次の 9 つの AWS リージョンでご利用いただけます。米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド)、欧州 (フランクフルト)、アジアパシフィック (東京)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ムンバイ)。詳細と開始方法については、Amazon Athena for Apache のドキュメントページを参照してください。