Amazon OpenSearch Service のアドミッションコントロールによる回復力の強化

このブログは、Enhance resiliency with admission control in Amazon OpenSearch Service を翻訳したものです。

OpenSearch は、リアルタイムアプリケーションモニタリング、ログ分析、ウェブサイト検索など、幅広いユースケースで使用される分散型のオープンソースの検索と分析スイートです。Amazon OpenSearch Service は、大規模な OpenSearch クラスターを安全に展開し運用することを容易にするマネージドサービスです。Amazon OpenSearch Service は、ユースケースに合わせた幅広いクラスター構成を提供します。2021 年に、自動メモリ管理の機能を Auto-Tune の下でリリースしました。Auto-Tune は、Amazon OpenSearch Service の適応型リソース管理システムで、リクエストを継続的にモニタリングし、効率とパフォーマンスを向上させるためにクラスターリソースを最適化します。

本日 (2022 年 2 月)、Auto-Tune のためのアドミッションコントロールのリリースを発表できることをうれしく思います。Amazon OpenSearch Service のアドミッションコントロールは、ノードが負荷を受けたときに、REST レイヤーで新規に受信するリクエストを早期に制限することで、OpenSearch クラスターの全体的な回復力を強化します。このメカニズムにより、ノード障害の可能性と、クラスターへの連鎖的な影響を防ぐことができます。

アドミッションコントロールの概要

アドミッションコントロールは、クラスターの状態に基づいてトラフィックを調整するレバーのように機能します。予測されたリソース使用量に基づいて、OpenSearch へのリクエストごとにトークンを割り当てることによってこの機能は実現されます。プロセスが完了すると、トークンが解放されます。すべてのトークンが取得された後、ノードへの追加のリクエストはトークンが再びリクエスト処理に利用できるようになるまで “too many requests” という例外でスロットリングされます。場合によっては、管理者はアドミッションコントロールを利用して、シャードが割り当てられるなどの特定の条件が満たされるまでトラフィックを完全にシャットダウンし、頻繁なノードドロップを防ぐことができます。

アドミッションコントロールはノードのゲートキーパーであり、ノードの現在のキャパシティに基づいてノードに処理されるリクエスト数を制限します。
アドミッションコントロールは、Amazon OpenSearch Service ドメインが、トラフィックの定常的な増加や急増によって過負荷になるのを防ぎます。
リソースの状況を認識する機能を持っているため、受信リクエストのコスト(リクエストペイロードのコンテンツ長)とノードのその時点での状態(Java 仮想マシン(JVM)の全体)に基づいてクラスターを調整します。
この認識機能により、ノード上でのリアルタイムかつ状態ベースのアドミッションコントロールが可能になります。

デフォルトでは、JVM memory pressure とリクエストサイズのしきい値が超えた場合、アドミッションコントロールが _search リクエストと _bulk リクエストをスロットリングします。

JVM memory pressure のしきい値
アドミッションコントロールは JVM memory pressure の現在の状態を追跡し、事前に設定された JVM memory pressure のしきい値に基づいて受信リクエストをスロットリングします。このしきい値を超えると、ノード上のメモリが解放され memory pressure がしきい値を下回るまで、すべての設定された _search リクエストと _bulk リクエストがスロットリングされます。
リクエストサイズのしきい値
特定のリクエストのサイズは、そのコンテンツ長によって決定されます。アドミッションコントロールは実行中のリクエストを追跡し、このコンテンツ長に基づいてすべてのリクエストにトークンを割り当てます。その後、実行中のリクエストの集計サイズが事前に設定されたしきい値を超えると、メモリ使用量に基づいて受信したリクエストをスロットリングします。すべての新しい _search リクエストと _bulk リクエストは、処理中のリクエストが完了するまでスロットルされ、新しいリクエストで占有されるクォータを放棄します。

次の図は、このプロセスを示しています。

Auto-Tuneの仕組み

Auto-Tune は、OpenSearch クラスターからのパフォーマンスと使用状況のメトリクスを使用して、クラスターの速度と安定性を改善するためのメモリ関連の構成変更を提案します。
Amazon OpenSearch Service コンソールでその推奨事項を確認できます。
アドミッションコントロールは非破壊的な変更であり、ノードを再起動することなく変更を適用できることを意味します。

アドミッションコントロールの事前定義されたリクエストサイズの 10% というしきい値は、ほとんどのユースケースを満たします。
しかし、Auto-Tune は現在、システム上で占有されている JVM の量に基づいて、デフォルトのしきい値を通常 5-15% の間で動的に増減できるようになりました。
Auto-Tune を有効にすると、リクエストサイズのしきい値の自動調整がデフォルトで有効になります。

Auto-Tune は現在、JVM メモリプレッシャーのしきい値のチューニングを行いません。

アドミッションコントロールの監視

Amazon OpenSearch Service は Amazon CloudWatch に対して、AutoTuneSucceeded と AutoTuneFailed の 2 つの Auto-Tune メトリクスを送信します。各メトリクスには、AutotuningType と呼ばれるサブカテゴリが含まれており、これは問題の特定のタイプの変更を示します。アドミッションコントロールは、ADMISSION_CONTROL_TUNING と呼ばれる新しいタイプを追加します。

CloudWatch コンソールのメトリクスページで、ES/OpenSearchService を選択してください。