AWS での統合ログ管理は 2024 年 3 月 1 日に廃止されます。OpenSearch による統合ログ管理ソリューションに置き換えられています。廃止後も、既存のすべてのデプロイは引き続き機能しますが、ソリューションのサポートおよび保守は終了します。GovCloud リージョンデプロイを使用していない場合は、AWS での統合ログ管理導入ガイドに記載されている手順に従って、OpenSearch による統合ログ管理ソリューションのバージョン 2.0.0 以降に移行することを強くお勧めします。
概要
AWS での統合ログ管理ソリューションにより、組織は単一のダッシュボードで Amazon CloudWatch Logs を収集、分析、表示できます。このソリューションは、アクセス、設定変更、課金イベントのための監査ログなど、さまざまなソースからのログファイルを統合、管理、および分析します。また、複数のアカウントと AWS リージョンから Amazon CloudWatch Logs を収集できます。
このソリューションは、Amazon OpenSearch Service と、Amazon OpenSearch Service と統合された分析および視覚化プラットフォームである Kibana を使用して、すべてのログイベントの統合ビューを実現します。このソリューションを他の AWS マネージドサービスと組み合わせると、ターンキー環境を構築でき、AWS 環境とアプリケーションのロギングと分析を開始できます。
サポートされているログ形式は、Amazon VPC フローログ、AWS CloudTrail、AWS Lambda、一般的なログフォーマット、スペース区切り、JSON、Apache ウエブサーバーログ、その他 (ユーザー定義) 形式です。
利点
AWS CloudFormation テンプレートにより、複数のアカウントや AWS リージョンからログファイルを Amazon OpenSearch Service にアップロードするために必要なコンポーネントの起動と設定が自動的に行われ、カスタマイズ可能な使いやすいダッシュボードで分析と可視化を実行できます。
Amazon Cognito を使用してダッシュボードへのアクセスを制御し、Amazon OpenSearch Service の認証を簡素化する。
デフォルトの AWS のサービスログよりもロギング機能を拡張する。この柔軟なソリューションには、ホストレベルのログファイルおよび VPC フローログをキャプチャするためのサンプルが含まれており、拡大するビジネスに合わせてスケールできるよう設計されています。
組み込みの Kibana 向け Amazon OpenSearch Service サポートを使用してデータ可視化を簡素化する。このサポートにはデフォルトで事前設定された一連のダッシュボードが含まれており、最初に Kibana のカスタマイズ機能を確認できるようになっています。
技術的な詳細情報
AWS での統合ログ管理ソリューションには、ログの取り込み、ログのインデックス作成、および視覚化といったコンポーネントが含まれています。ログデータを保存する予定の AWS アカウントに AWS CloudFormation テンプレートをデプロイする必要があります。
ステップ 1a - ログの取り込み
Amazon CloudWatch Logs の送信先はプライマリアカウントにデプロイされ、選択した各リージョンで必要なアクセス許可を使用して作成されます。CloudWatch Logs サブスクリプションフィルターは、ロググループを AWS での統合ログ管理アカウントにストリーミングするように設定できます。
ステップ 1b - ログの取り込み
オプションのデモ AWS CloudFormation テンプレートをデプロイして、AWS CloudTrail のサンプル CloudWatch Logs、Amazon Virtual Private Cloud (Amazon VPC) フローログ、および Amazon Elastic Compute Cloud (Amazon EC2) ウェブサーバーを生成できます。
ステップ 2a - ログのインデックス作成
一元化された Amazon Kinesis Data Streams と Amazon Kinesis Data Firehose は、一元化された Amazon OpenSearch Service ドメインのログイベントにインデックスを付けるようにプロビジョニングされています。ログイベントをストリーミングするために作成された CloudWatch Logs の送信先には、ターゲットとして Kinesis Data Streams があります。
ステップ 2b - ログのインデックス作成
ログイベントが Kinesis Data Streams にストリーミングされると、サービスは AWS Lambda 関数を呼び出して各ログイベントを Amazon OpenSearch Service ドキュメントに変換し、Kinesis Data Firehose に配置されます。Kinesis Data Firehose が各配信ストリームの詳細なモニタリングデータを含むカスタム CloudWatch Logs を送信している間、Kinesis Data Firehose を監視できます。
ステップ 3 - 視覚化
Amazon OpenSearch Service と Kibana は、データの視覚化と探索をサポートします。Amazon OpenSearch Service ドメインは Amazon VPC 内に作成され、Kibana ダッシュボードへのパブリックアクセスを防ぎます。オプションで、Microsoft Windows Jumpbox Server を起動して、Amazon OpenSearch Service クラスターと Kibana ダッシュボードにアクセスすることができます。
ステップ 1a - ログの取り込み
Amazon CloudWatch Logs の送信先はプライマリアカウントにデプロイされ、選択した各リージョンで必要なアクセス許可を使用して作成されます。CloudWatch Logs サブスクリプションフィルターは、ロググループを AWS での統合ログ管理アカウントにストリーミングするように設定できます。
ステップ 1b - ログの取り込み
オプションのデモ AWS CloudFormation テンプレートをデプロイして、AWS CloudTrail のサンプル CloudWatch Logs、Amazon Virtual Private Cloud (Amazon VPC) フローログ、および Amazon Elastic Compute Cloud (Amazon EC2) ウェブサーバーを生成できます。
ステップ 2a - ログのインデックス作成
一元化された Amazon Kinesis Data Streams と Amazon Kinesis Data Firehose は、一元化された Amazon OpenSearch Service ドメインのログイベントにインデックスを付けるようにプロビジョニングされています。ログイベントをストリーミングするために作成された CloudWatch Logs の送信先には、ターゲットとして Kinesis Data Streams があります。
ステップ 2b - ログのインデックス作成
ログイベントが Kinesis Data Streams にストリーミングされると、サービスは AWS Lambda 関数を呼び出して各ログイベントを Amazon OpenSearch Service ドキュメントに変換し、Kinesis Data Firehose に配置されます。Kinesis Data Firehose が各配信ストリームの詳細なモニタリングデータを含むカスタム CloudWatch Logs を送信している間、Kinesis Data Firehose を監視できます。
ステップ 3 - 視覚化
Amazon OpenSearch Service と Kibana は、データの視覚化と探索をサポートします。Amazon OpenSearch Service ドメインは Amazon VPC 内に作成され、Kibana ダッシュボードへのパブリックアクセスを防ぎます。オプションで、Microsoft Windows Jumpbox Server を起動して、Amazon OpenSearch Service クラスターと Kibana ダッシュボードにアクセスすることができます。