Amazon Athena for Apache Spark が Amazon SageMaker ノートブックで利用可能に
Amazon SageMaker が Amazon Athena for Apache Spark をサポートするようになりました。これにより、新しいノートブックエクスペリエンスと高速なサーバーレス Spark エクスペリエンスが統合ワークスペース内に統一されました。今後は、データエンジニア、アナリスト、データサイエンティストが、データのクエリ、Python コードの実行、ジョブの開発、モデルのトレーニング、データの視覚化、AI の操作を 1 か所から簡単に行えるようになり、インフラストラクチャの管理は不要で、追加の課金もありません。
Athena for Apache Spark は数秒でスケールし、インタラクティブなクエリからペタバイト規模のジョブまで、あらゆるワークロードをサポートします。Athena for Apache Spark は、Apache Iceberg や Delta Lake などのオープンテーブル形式向けに最適化された、AWS 全体で利用できるのと同じ高性能の Spark エンジンである Spark 3.5.6 上で稼働するようになりました。新しいデバッグ機能、Spark UI でのリアルタイムモニタリング、Spark Connect によるセキュアでインタラクティブなクラスター通信が可能になります。これらの機能を使用してデータを操作するときに、Athena for Spark が AWS Lake Formation で定義されたテーブルレベルのアクセスコントロールを適用するようになりました。
Athena for Apache Spark は Amazon SageMaker Unified Studio がサポートされているすべてのリージョンの Amazon SageMaker ノートブックで利用できるようになりました。詳細については、Apache Spark エンジンバージョン 3.5、AWS ニュースブログ、Amazon SageMaker ドキュメントをご覧ください。 Amazon SageMaker ノートブックから試してみるには、入門ガイドにアクセスしてください。