投稿日: Nov 22, 2022

インタラクティブな Spark ワークロードを実行するための EMR Studio の Jupyter Notebook セッションで、Spark プロパティの設定をサポートすることを発表いたします。Amazon EMR on EKS では、お客様は Apache Spark などのオープンソースのビッグデータフレームワークを Amazon EKS で効率的に実行できます。Amazon EMR on EKS のお客様は、EMR Studio などの統合開発環境 (IDE) を使用してインタラクティブなワークロードを実行するために、マネージドエンドポイント (プレビューで利用可能) を設定し、使用できます。

データサイエンティストとエンジニアは、EMR on EKS で EMR Studio の Jupyter Notebook を使用して、Python、PySpark、Scala で作成されたアプリケーションの開発、可視化、デバッグを行います。今回のリリースにより、お客様はドライバーとエグゼキューターの CPU/メモリ、エグゼキューターの数、パッケージの依存関係などの Spark 設定をノートブックセッション内でカスタマイズして、1 つのマネージドエンドポイントでさまざまな計算ワークロードやさまざまな量のデータを処理できるようになりました。

ノートブックセッションで Spark のさまざまな設定を適用する方法については、ドキュメントをご覧ください。マネージドエンドポイントのセッションでの設定サポートは、Amazon EMR on EKS 6.9 リリース以上でご利用いただけます。また、Amazon EMR on EKS を現在提供しているすべてのリージョンでご利用いただけます。