AWS で Amazon OpenSearch Service を使用して、統合ログ分析プラットフォームを 20 分で構築する
概要
OpenSearch を使用した統合ログ管理は、組織が Amazon OpenSearch Service を使用してさまざまなソースからログデータを収集し、取り込み、視覚化するのに役立ちます。このソリューションではウェブベースのコンソールが提供されます。これを使用して、数回のクリックでログ取り込みパイプラインを作成できます。ログ取り込みパイプラインには、ログ収集エージェントのデプロイ、コードの記述を必要としないログのエンリッチメント、バッファレイヤーの作成、OpenSearch インデックス設定が含まれます。ログが OpenSearch Service に保存されると、ソリューションは、さまざまな形式 (Nginx、JSON、Spring Boot など) の AWS のサービスのログとアプリケーションのログを分析するために、すぐに使用できるダッシュボードを自動的に生成します。このソリューションを他の AWS のサービスと組み合わせると、ターンキープラットフォームを構築でき、AWS 環境とアプリケーションのログ記録やモニタリングを開始できます。
メリット
AWS アカウントでソリューションを簡単にデプロイし、ウェブコンソールを使用してアプリケーションのログと AWS のサービスのログの両方を取り込むことができます。すぐに使用できる可視化されたダッシュボードでログを迅速に分析できます。
このソリューションはオープンソースで、無料で商用に利用できます。お支払いいただくのは AWS の使用料金のみです。ユースケースが異なる場合は、ソースコードを参考にして、独自の実装を行うことができます。
技術的な詳細情報
下図は、このソリューションの実装ガイドと付随する Amazon CloudFormation テンプレートを使用して自動的にデプロイできるアーキテクチャを示しています。
ステップ 1
Amazon CloudFront は、Amazon Simple Storage Service (Amazon S3) バケットでホストされているフロントエンドのウェブ UI アセットを配布します。
ステップ 2
認証のために、Amazon Cognito ユーザープールまたは OpenID Connector (OIDC) を使用できます。
ステップ 3
AWS AppSync はバックエンドの GraphQL API を提供します。
ステップ 4
Amazon DynamoDB は、ソリューション関連の情報をバックエンドデータベースとして保存します。
ステップ 5
AWS Lambda は他の AWS のサービスと連携して、ログパイプラインまたはログエージェントを管理するコアロジックを処理し、DynamoDB テーブルで更新された情報を取得します。
ステップ 6
AWS Step Functions は、ログパイプライン管理のために、一連の定義済みスタックのオンデマンドの AWS CloudFormation デプロイをオーケストレートします。ログパイプラインスタックは個別の AWS リソースをデプロイします。また、ログを収集して処理し、さらなる分析や視覚化のために Amazon OpenSearch Service に取り込むために使用されます。
ステップ 7
サービスログパイプラインまたはアプリケーションログパイプラインは、OpenSearch コンソールを使用した統合ログ管理を介してオンデマンドでプロビジョニングされます。
ステップ 8
AWS Systems Manager と Amazon EventBridge は、アプリケーションサーバー用にログエージェント (Fluent Bit) をインストールしたり、エージェントのヘルスステータスをモニタリングしたりするなど、アプリケーションサーバーからログを収集するためのログエージェントを管理します。
ステップ 9
Amazon EC2 または Amazon EKS は Fluent Bit エージェントをインストールし、ログデータをアプリケーションログパイプラインにアップロードします。
ステップ 10
アプリケーションログパイプラインは、アプリケーションのログを読み取り、解析および処理し、Amazon OpenSearch Service ドメインに取り込みます。
ステップ 11
サービスログパイプラインは、AWS のサービスのログを読み取り、解析および処理し、Amazon OpenSearch Service ドメインに取り込みます。
ステップ 1
Amazon CloudFront は、Amazon Simple Storage Service (Amazon S3) バケットでホストされているフロントエンドのウェブ UI アセットを配布します。
ステップ 2
認証のために、Amazon Cognito ユーザープールまたは OpenID Connector (OIDC) を使用できます。
ステップ 3
AWS AppSync はバックエンドの GraphQL API を提供します。
ステップ 4
Amazon DynamoDB は、ソリューション関連の情報をバックエンドデータベースとして保存します。
ステップ 5
AWS Lambda は他の AWS のサービスと連携して、ログパイプラインまたはログエージェントを管理するコアロジックを処理し、DynamoDB テーブルで更新された情報を取得します。
ステップ 6
AWS Step Functions は、ログパイプライン管理のために、一連の定義済みスタックのオンデマンドの AWS CloudFormation デプロイをオーケストレートします。ログパイプラインスタックは個別の AWS リソースをデプロイします。また、ログを収集して処理し、さらなる分析や視覚化のために Amazon OpenSearch Service に取り込むために使用されます。
ステップ 7
サービスログパイプラインまたはアプリケーションログパイプラインは、OpenSearch コンソールを使用した統合ログ管理を介してオンデマンドでプロビジョニングされます。
ステップ 8
AWS Systems Manager と Amazon EventBridge は、アプリケーションサーバー用にログエージェント (Fluent Bit) をインストールしたり、エージェントのヘルスステータスをモニタリングしたりするなど、アプリケーションサーバーからログを収集するためのログエージェントを管理します。
ステップ 9
Amazon EC2 または Amazon EKS は Fluent Bit エージェントをインストールし、ログデータをアプリケーションログパイプラインにアップロードします。
ステップ 10
アプリケーションログパイプラインは、アプリケーションのログを読み取り、解析および処理し、Amazon OpenSearch Service ドメインに取り込みます。
ステップ 11
サービスログパイプラインは、AWS のサービスのログを読み取り、解析および処理し、Amazon OpenSearch Service ドメインに取り込みます。
関連コンテンツ
メトリクス、ログ、トレースなど、CloudWatch に保存されているクロスアカウントテレメトリデータを検索、分析、相互に関連付けるための新機能。
AWS リージョンで既存の VPC を使用して起動
AWS 中国リージョンで新しい VPC を使用して起動
中国リージョンで既存の VPC を使用して起動