投稿日: Jun 4, 2020
Amazon Elasticsearch Service で、異常検出機能の提供が開始されました。この機能は、機械学習によりリアルタイムストリーミングデータの異常を検出し、変化する問題を特定して、即座の緩和を可能にします。この新機能は、リアルタイムストリーミング向けの実証済みアルゴリズムであるランダムカットフォレスト (RCF、Random Cut Forests) に基づいて構築されています。また、ドメイン非依存型であるため、さまざまなログ分析アプリケーションに最適です。
静的なルールベースの分析アプローチは、動的ワークロードへの適合が困難で、重要な問題を見逃してしまいがちです。Amazon Elasticsearch Service 異常検出では、変化するデータパターンに適合し続ける教師なしアルゴリズムである RCF を活用しています。この異常検出機能は軽量で回復力があり、Elasticsearch ノード全体に計算負荷を分散するため、専用の機械学習ノードが必要ありません。この効率的な設計により、クラスターパフォーマンスやアプリケーションワ―クロードに影響を与えることなく、大量のデータを処理できます。
この新しい異常検出機能は、異常の原因となるデータやイベントに関するコンテキストを提供する、Kibana ユーザーインタフェイスを備えています。そのため、機械学習に関する知識の有無にかかわらず、すべてのユーザーが簡単にこの機能を活用可能です。異常検出は、外れ値の検出通知をトリガーするアラートと併用できます。
リアルタイム異常検出機能は、Elasticsearch の Apache 2.0 ライセンスディストリビューションである Open Distro for Elasticsearch によって動作します。Open Distro for Elasticsearch とその異常検出プラグインの詳細については、プロジェクトのウェブサイトを参照してください。
異常検出は、Elasticsearch 7.4 を実行しているすべてのドメインで、追加料金なしで利用可能です。詳細については、ドキュメントを参照してください。
Amazon Elasticsearch Service のリアルタイム異常検出機能は、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン、北カリフォルニア)、カナダ (中部)、南米 (サンパウロ)、欧州 (アイルランド、ロンドン、フランクフルト、パリ、ストックホルム、ミラノ)、アジアパシフィック (シンガポール、シドニー、東京、ソウル、ムンバイ、香港)、中東 (バーレーン)、中国 (Sinnet が運営する北京、NWCD が運営する寧夏)、アフリカ (ケープタウン) の、グローバルに展開された 22 のリージョンで利用できます。Amazon Elasticsearch Service の提供状況の詳細については、AWS リージョン表をご覧ください。