新着 – Amazon CloudWatch と Amazon OpenSearch Service が統合分析エクスペリエンスをリリース

12 月 1 日、Amazon Web Services (AWS) は、Amazon CloudWatch と Amazon OpenSearch Service 間の新しい統合分析エクスペリエンスとゼロ ETL 統合を発表しました。この統合により、ログデータの分析とビジュアライゼーションがデータの重複なしで簡素化され、ログ管理が合理化されるとともに、技術的なオーバーヘッドと運用コストが削減されます。CloudWatch Logs をご利用のお客様は、CloudWatch Logs Insights QL に加えて 2 つの追加クエリ言語にアクセスできるようになりました。一方、OpenSearch をご利用のお客様は、別の抽出、変換、ロード (ETL) パイプラインを作成することなく、CloudWatch ログをインプレースでクエリできます。

組織では、ログデータのためにさまざまな分析機能が必要になることがよくあります。一部のチームは、すべてのシステム、アプリケーション、AWS サービスからのログを一元化する際のスケーラビリティとシンプルさを理由として、CloudWatch Logs を好みます。高度な分析とビジュアライゼーションを理由として OpenSearch Service を必要とするチームもあります。以前は、これらのサービス間の統合では、個別の取り込みパイプラインを維持するか、または ETL プロセスを作成する必要がありました。この新しい統合は、データのコピーなしで OpenSearch 分析の力を CloudWatch Logs に直接もたらすことで複雑さを排除するため、お客様は両方のサービスを最大限に活用するのに役立ちます。

Amazon CloudWatch Logs は、OpenSearch Piped Processing Language (PPL) と OpenSearch SQL を CloudWatch Logs Insights コンソール内で直接サポートするようになりました。SQL を使用してデータを分析し、JOIN を使用してログを相関させることができます。直感的なログ分析のために、SQL 関数 (JSON 関数、数学関数、日時関数、文字列関数など) を使用できます。また、OpenSearch PPL を使用して、データをフィルタリング、集計、分析することもできます。数回クリックするだけで、Amazon Virtual Private Cloud (VPC)、AWS CloudTrail、AWS WAF などの、Vended Logs 用のすぐに使用できる事前構築済みダッシュボードにアクセスできます。 これらのダッシュボードを使用すると、個々のウィジェットを設定したり、特定のクエリを作成したりすることなく、時間の経過に伴うフロー、トップトーカー、メガバイト、時間の経過に伴う転送パケットの分析などのビジュアライゼーションを通じて、より迅速なモニタリングとトラブルシューティングが可能になります。時間の経過に伴う VPC フローの分析、トップトーカーの特定、ネットワークトラフィックのメトリクスの追跡、AWS WAF でのウェブリクエストの傾向のモニタリング、AWS CloudTrail での API アクティビティパターンの分析を行うことができます。

さらに、OpenSearch Service のユーザーは、OpenSearch Discover を使用して CloudWatch ログを分析し、SQL と PPL を実行できるようになりました。これは、Amazon Simple Storage Service (Amazon S3) でデータを分析する方法に似ています。また、ETL オペレーションや個別の取り込みパイプラインなしで、インデックスを構築してダッシュボードを直接作成できます。

この統合の仕組みを詳しく見てみましょう
CloudWatch の新しい OpenSearch SQL および PPL クエリ機能のデモを行うために、CloudWatch コンソールから始めます。ナビゲーションペインで、[ログ]、[Logs Insights] の順に選択します。 クエリのためにロググループを選択した後、追加の設定や統合なしで、OpenSearch PPL または OpenSearch SQL クエリ言語を CloudWatch Logs Insights 内で直接使用できるようになりました。この新しい機能を使用すると、使い慣れた SQL 構文または OpenSearch PPL を使用して複雑なクエリを記述できるため、ログ分析がより直感的で効率的になります。[クエリコマンド] メニューには、使用を開始するのに役立つサンプルクエリがあります。

この例では、SQL JOIN を使用して、ペットの譲り受けとペットの譲受可能性という 2 つのロググループのデータを結合する方法を示します。特定の顧客 ID でフィルタリングすることで、トラブルシューティングのために関連するログレコードとトレース ID を分析できます。

CloudWatch Logs のお客様向けのこの統合の強力な機能の 1 つは、Amazon VPC フロー、AWS CloudTrail、AWS WAF ログ用の事前構築済みダッシュボードを作成できることです。AWS WAF ログ用のダッシュボードを作成することで、これを詳しく見てみましょう。[OpenSearch で分析] タブで、[設定] を選択し、ステップに従います。

数分後、統合の準備が整います。[OpenSearch ダッシュボードを作成] に進みます。[自動ダッシュボードタイプを選択] オプションで、AWS WAF ログを選択します。

[ダッシュボードデータ設定] タブの [データ同期頻度] で、15 分ごとに実行するように選択できます。[ロググループを選択] し、[選択したロググループのログサンプルを表示] します。最後に、[ダッシュボードを作成] を選択します。

ダッシュボードを作成したら、ログを調べることができます。AWS WAF ログダッシュボードは、ウェブアプリケーションファイアウォールのメトリクスとイベントを包括的に可視化し、セキュリティパターンのモニタリングと分析に役立つ自動設定されたビジュアライゼーションを提供します。

同様に、CloudTrail ダッシュボードは、AWS 環境全体の API アクティビティに関する詳細なインサイトを提供します。API アクティビティのモニタリング、アクションの監査、潜在的なセキュリティまたはコンプライアンスの問題の特定に役立ちます。

VPC フローログダッシュボードは、ネットワークトラフィック分析のために、ログからの主要なメトリクスの詳細なビジュアライゼーションを提供します。ネットワークトラフィックを分析し、異常なパターンを検出して、リソースの使用状況をモニタリングできます。ダッシュボードは現在、VPC v2 フィールド (デフォルト形式) のみをサポートしています。カスタム形式のフィールドはサポートされていません。

OpenSearch Services から CloudWatch データにアクセスするためにゼロ ETL を使用すると、ETL プロセスを構築して維持することなく、OpenSearch Service コンソールから OpenSearch ダッシュボードを構築することもできます。そのためには、[一元管理] に移動し、新しい [接続されたデータソース] メニューを選択して、[接続] をクリックして新しい接続されたデータソースを作成し、[CloudWatch Logs] を選択します。

次のステップでは、データソースに名前を付け、[新しいロールを作成] を選択します。このロールには、OpenSearch Service でアクションを実行するために必要な許可が必要です。これらは、[サンプルカスタムポリシー] で確認できます。

[OpenSearch を設定] ステップで、[新しいコレクションを作成] を選択することで、CloudWatch Logs のために OpenSearch データ接続を設定します。CloudWatch Logs ソースの設定の一環として、インデックス付きビューを保存し、CloudWatch Logs データを分析するためのユーザーインターフェイスを提供する新しい OpenSearch Service サーバーレスコレクションと OpenSearch UI アプリケーションが作成されます。新しいコレクションを作成して名前を付け、アプリケーション内で OpenSearch アプリケーションとワークスペースを設定します。[データ保持] 日数を設定したら、[次へ] を選択し、[確認して接続] で終了します。

CloudWatch との統合の準備ができたら、[データをインデックス化せずにログを詳しく見る] (これを選択すると、Discover のクエリインターフェイスに移動します) または (Amazon VPC Flows、CloudTrail、AWS WAF ログのためにダッシュボードを作成することによって) [Vended Logs を詳しく見る] を選択できます。

[ログを詳しく見る] を選択すると、OpenSearch UI によって、データソースの設定中に作成したアプリケーションワークスペースの Discover に移動します。[Discover] で、データピッカーを選択し、CloudWatch Logs データソースとロググループにアクセスするために [使用可能なすべてのデータを表示] を選択します。

ロググループを選択すると、アプリケーションを切り替えることなく、Discover で直接 OpenSearch SQL と PPL を使用して CloudWatch ログを分析できます。

ダッシュボードを作成するには、コンソールの [接続されたデータソース] の概要ページに戻ります。そこから [ダッシュボードを作成] を選択します。これにより、CloudWatch コンソールで以前行ったように、クエリを定義したり、ビジュアライゼーションを構築したりすることなく、CloudWatch データを視覚的に分析できます。

ダッシュボードが作成された後、OpenSearch リソースに移動すると、新しく作成されたインデックスに [コレクション] のデータが入力されていることを確認します。データを取得したら、設定で選択した CloudWatch ログのデータを含むダッシュボードに移動できます。さらにデータが取得されると、OpenSearch ダッシュボードにほぼリアルタイムで表示されます。

このゼロ ETL 統合により、データ整合性を維持し、運用オーバーヘッドを削減しながら、強力なクエリ機能とビジュアライゼーション機能を使用してデータを直接 OpenSearch に取り込むことができます。

統合のハイライト
CloudWatch をご利用のお客様の場合:

• クエリ機能 – CloudWatch Logs Insights コンソール内で直接 OpenSearch SQL および PPL クエリを使用することによって、ログ調査を効率化します。
• 分析機能 – 数回クリックするだけで、VPC、AWS WAF、CloudTrail ログなどの Vended Logs 用の、すぐに使用できる事前構築済みダッシュボードにアクセスできます。これらのダッシュボードを使用すると、個々のウィジェットを設定したり、特定のクエリを作成したりすることなく、時間の経過に伴うフロー、トップトーカー、メガバイト、時間の経過に伴う転送パケットの分析のためのビジュアライゼーションを通じて、より迅速なモニタリングとトラブルシューティングが可能になります。
• CloudWatch ユーザー向けの開始方法 – CloudWatch Logs から OpenSearch Service への統合を設定します。詳細については、Amazon CloudWatch Logs のクエリ機能および Amazon CloudWatch Logs の Vended ダッシュボードのドキュメントをご覧ください。

OpenSearch Service をご利用のお客様の場合:

• ゼロ ETL 統合 – ETL プロセスを構築または維持することなく、OpenSearch Service から直接 CloudWatch データにアクセスして分析します。この統合により、個別の取り込みパイプラインが不要になり、データ管理が簡素化され、データの重複がなくなるため、ストレージコストと運用オーバーヘッドが削減されます。
• OpenSearch ユーザー向けの開始方法 – OpenSearch Service からデータソースとして CloudWatch を選択してデータ接続を作成します。詳細については、「Amazon OpenSearch Service デベロッパーガイド」をご覧ください。

利用可能なリージョンと料金
この統合は、Amazon OpenSearch Service ダイレクトクエリが使用可能なAWS リージョンでご利用いただけるようになりました。料金の詳細と無料トライアルに関する情報については、「Amazon CloudWatch 料金表」および「Amazon OpenSearch Service の料金」ページにアクセスしてください。

追記: AWS でのブログ記事の執筆は、常にチームとしての取り組みです。これは、記事のタイトルの下に 1 人の名前しか表示されない場合でも同様です。本記事においては、スクリーンショット、技術ガイダンス、両サービスの専門知識の共有といった寛大なご協力をいただいた Joshua Bright、Ashok Swaminathan、Abeetha Bala、Calvin Weng、Ronil Prasad に感謝の意を表します。これらのご協力により、この統合の概要についての記事を作成することができ、包括的なものとなりました。

– Eli

原文はこちらです。