Amazon EMR Serverless のサーバーレスストレージでテラバイト規模のシャッフルのサポートを開始
Amazon EMR Serverless ではサーバーレスストレージ機能が強化され、シャッフル操作の上限が従来の 1 ジョブあたり 200 GB から 1 TB に引き上げられました。Amazon EMR Serverless を使用すると、クラスターやサーバーの設定、管理、スケーリングを行う必要がありません。そのためデータエンジニアやデータサイエンティストは、オープンソースのビッグデータ分析フレームワークを簡単に実行できます。この機能強化により、企業のお客様は、結合、集約、ソートなどの複雑な操作で大量のシャッフルデータを処理する必要がある、本番環境規模の Apache Spark ワークロードを実行できるようになりました。
企業のデータチームは、ストレージの制約を心配することなく、テラバイト規模のデータセットを日常的に処理する本番ワークロードを安心して移行できるようになりました。特に、数テラバイト規模のデータセットにまたがる大規模なテーブル結合や、大量のデータシャッフルを必要とする高カーディナリティデータの複雑な集約を伴うワークロードで、この機能強化が役立ちます。スピルサポートの追加により、必要に応じてデータをディスクにオフロードできるため、メモリを大量に使用する操作もジョブでシームレスに処理できます。その結果、負荷の高い分析ワークロードでも、ジョブの信頼性と成功率が向上します。
この機能は、Amazon EMR Serverless が提供されている 18 の AWS リージョンで、Amazon emr-7.14、emr-spark-8.1 以降で利用できます。サポートされているリージョンとそれぞれに適用される上限の一覧については、Amazon EMR のドキュメントを参照してください。
Amazon EMR Serverless の詳細を確認し、テラバイト規模のシャッフルのサポートを利用し始めるには、Amazon EMR Serverless のページをご覧ください。