投稿日: Jun 13, 2023
EKS での EMR で Apache Spark ジョブを実行する際に、コンテナログローテーションを制御する機能が利用可能になりました。Amazon EMR on EKS は、Apache Spark などのオープンソースのビッグデータフレームワークを Amazon EKS で実行するためのサービスです。コンテナログローテーションを有効にすることで、過剰なログファイルがポッドの実行に影響を及ぼすのを回避できます。
Spark ストリーミングのように長時間実行される Spark ジョブでは、パフォーマンス低下やジョブ失敗の原因となるディスクスペース不足の問題が発生したり、Kubernetes ポッドから手動でログを削除せざるを得なくなったりする可能性があります。今回のリリースにより、コンテナログローテーションを有効にし、各ログファイルの最大サイズ設定を含む、Spark ドライバー/エグゼキュターポッドに保存するログファイルの数をカスタマイズできるようになりました。