投稿日: May 4, 2023
Amazon EMR on EKS が垂直自動スケーリングに対応したことをお知らせします。これは、提供されたワークロードのニーズに合わせて EMR Spark アプリケーションのメモリと CPU リソースを自動的に調整する機能です。シンプルなメカニズムを提供することで、リソースの調整、信頼性の向上、コスト最適化を実現します。Amazon EMR on EKS は、Apache Spark などのオープンソースのビッグデータフレームワークを Amazon EKS で実行できるようにするサービスです。このとき、アプリケーションのプロビジョニングを自分で管理する必要はありません。
EMR Spark では、使用するメモリと CPU コアの量をご自分で設定できます。しかし、これまでは、これらの値の調整を手動で行う必要があり、複雑になる場合もありました。例えば、メモリが少なすぎると、メモリ不足の例外が発生する可能性があり、逆に多すぎると、アイドル状態のリソースを過剰に消費する可能性があります。垂直自動スケーリングは、リアルタイムおよび過去のリソース使用率に基づいて、EMR Spark アプリケーションに割り当てられたメモリと CPU を自動的にスケーリングします。これにより、アプリケーションの信頼性を向上させながら、リソースを調整してコストを最適化するプロセスを簡略化できます。
この機能の詳細については、AWS Big Data Blog (AWS ビッグデータブログ) の記事: Improve reliability and reduce costs of your Apache Spark workloads with vertical autoscaling on Amazon EMR on EKS (Amazon EMR on EKS の垂直自動スケーリングを使用して、Apache Spark ワークロードの信頼性を向上させ、コストを削減する) をご覧ください。さらなる詳細については、EMR on EKS ドキュメントの Using vertical autoscaling with Amazon EMR Spark jobs (Amazon EMR Spark ジョブで垂直自動スケーリングを使用する) セクションを参照してください。垂直自動スケーリングは Amazon EMR on EKS 6.10 以降のリリースでサポートされており、Amazon EMR on EKS を現在提供中のすべてのリージョンでご利用いただけます。