AWS で Amazon OpenSearch Service を使用して、統合ログ分析プラットフォームを 20 分で構築する
概要
OpenSearch を利用した統合ログ管理は、組織が Amazon OpenSearch Service を利用してさまざまなソースからログデータを収集し、取り込み、視覚化するのに役立ちます。この AWS ソリューションは、ウェブベースのコンソールを提供します。これを使用して、数回のクリックでログ取り込みパイプラインを作成できます。ログ取り込みパイプラインには、ログ収集エージェントのデプロイ、コードの記述を必要としないログのエンリッチメント、バッファレイヤーの作成、OpenSearch インデックス設定が含まれます。ログが OpenSearch Service に保存されると、ソリューションは、さまざまな形式 (Nginx、JSON、Spring Boot など) の AWS のサービスのログとアプリケーションのログを分析するために、すぐに使用できるダッシュボードを自動的に生成します。他の AWS サービスと組み合わせることで、このソリューションは、AWS アプリケーションのログ記録やモニタリングを開始するためのターンキー環境を提供します。
最新情報
- Amazon Athena ベースのサーバーレスで費用対効果の高いログ分析エンジンを提供するためにライトエンジンを追加しました
- Amazon OpenSearch Service のインジェストを追加して、より多くのログ処理機能を提供できるようにしました
その他の新機能については、リビジョンページをご覧ください。
利点
AWS アカウントのウェブコンソールを使用してアプリケーションログと AWS サービスログの両方を取り込み、視覚化ダッシュボードでログを分析します。
高可用性と従量課金制の課金モデルが組み込まれたサーバーレステクノロジーにより、インフラストラクチャ管理の必要性が減り、ビジネスのログ分析の構築に集中できるようになります。
このソリューションはオープンソースで、無料で商用に利用できます。お支払いいただくのは AWS の使用料金のみです。ユースケースが異なる場合は、ソースコードを参考にして、独自の実装を行うことができます。
技術的な詳細情報
このアーキテクチャは、実装ガイドと AWS リージョンまたは AWS 中国リージョンの AWS CloudFormation テンプレートを使用して自動的にデプロイできます。
ステップ 1
Amazon CloudFront は、Amazon Simple Storage Service (Amazon S3) バケットでホストされているフロントエンドのウェブユーザーインターフェイス (UI) アセットを配布します。
ステップ 2
認証のために、Amazon Cognito ユーザープールまたは OpenID Connector (OIDC) を使用できます。
ステップ 3
AWS AppSync はバックエンドの GraphQL API を提供します。
ステップ 4
Amazon DynamoDB は、ソリューション関連の情報をバックエンドデータベースとして保存します。
ステップ 5
AWS Lambda は他の AWS サービスとインタラクションして、ログパイプラインまたはログエージェントを管理するコアロジックを処理し、DynamoDB テーブルで更新された情報を取得します。
ステップ 6
AWS Step Functions は、ログパイプライン管理のために、一連の事前定義済みスタックのオンデマンド CloudFormation デプロイをオーケストレートします。ログパイプラインスタックは個別の AWS リソースをデプロイします。また、ログを収集して処理し、さらなる分析や視覚化のため Amazon OpenSearch Service に取り込むために使用されます。
ステップ 7
サービスログパイプラインまたはアプリケーションログパイプラインは、OpenSearch コンソールを使用した統合ログ記録を通じてオンデマンドでプロビジョニングされます。
ステップ 8
AWS Systems Manager と Amazon EventBridge は、アプリケーションサーバー用にログエージェント (Fluent Bit) をインストールしたり、エージェントのヘルスステータスをモニタリングしたりするなど、アプリケーションサーバーからログを収集するためのログエージェントを管理します。
ステップ 9
Amazon Elastic Compute Cloud (Amazon EC2) または Amazon Elastic Kubernetes Service (Amazon EKS) は、Fluent Bit エージェントをインストールし、ログデータをアプリケーションログパイプラインにアップロードします。
ステップ 10
アプリケーションログパイプラインは、アプリケーションのログを読み取り、解析および処理し、OpenSearch Service ドメインまたは Light Engine に取り込みます。
ステップ 11
サービスログパイプラインは、AWS サービスのログを読み取り、解析および処理し、OpenSearch Service ドメインまたは Light Engine に取り込みます。
ステップ 1
Amazon CloudFront は、Amazon Simple Storage Service (Amazon S3) バケットでホストされているフロントエンドのウェブユーザーインターフェイス (UI) アセットを配布します。
ステップ 2
認証のために、Amazon Cognito ユーザープールまたは OpenID Connector (OIDC) を使用できます。
ステップ 3
AWS AppSync はバックエンドの GraphQL API を提供します。
ステップ 4
Amazon DynamoDB は、ソリューション関連の情報をバックエンドデータベースとして保存します。
ステップ 5
AWS Lambda は他の AWS サービスとインタラクションして、ログパイプラインまたはログエージェントを管理するコアロジックを処理し、DynamoDB テーブルで更新された情報を取得します。
ステップ 6
AWS Step Functions は、ログパイプライン管理のために、一連の事前定義済みスタックのオンデマンド CloudFormation デプロイをオーケストレートします。ログパイプラインスタックは個別の AWS リソースをデプロイします。また、ログを収集して処理し、さらなる分析や視覚化のため Amazon OpenSearch Service に取り込むために使用されます。
ステップ 7
サービスログパイプラインまたはアプリケーションログパイプラインは、OpenSearch コンソールを使用した統合ログ記録を通じてオンデマンドでプロビジョニングされます。
ステップ 8
AWS Systems Manager と Amazon EventBridge は、アプリケーションサーバー用にログエージェント (Fluent Bit) をインストールしたり、エージェントのヘルスステータスをモニタリングしたりするなど、アプリケーションサーバーからログを収集するためのログエージェントを管理します。
ステップ 9
Amazon Elastic Compute Cloud (Amazon EC2) または Amazon Elastic Kubernetes Service (Amazon EKS) は、Fluent Bit エージェントをインストールし、ログデータをアプリケーションログパイプラインにアップロードします。
ステップ 10
アプリケーションログパイプラインは、アプリケーションのログを読み取り、解析および処理し、OpenSearch Service ドメインまたは Light Engine に取り込みます。
ステップ 11
サービスログパイプラインは、AWS サービスのログを読み取り、解析および処理し、OpenSearch Service ドメインまたは Light Engine に取り込みます。
AWS リージョンで既存の VPC を使用して起動
AWS 中国リージョンで新しい VPC を使用して起動
中国リージョンで既存の VPC を使用して起動