AWS 解决方案库

Centralized Logging with OpenSearch

在 20 分钟内在 AWS 上使用 Amazon OpenSearch Service 构建集中式日志分析平台

概览

Centralized Logging with OpenSearch 可帮助组织使用 Amazon OpenSearch Service 收集、提取和可视化来自各种来源的日志数据。该解决方案提供了一个基于 Web 的控制台，您只需点击几下即可使用该控制台来创建日志提取管道。日志提取管道包括日志收集代理部署、日志富化（无需编写代码）、缓冲层创建以及 OpenSearch 索引配置。日志存储在 OpenSearch Service 中后，该解决方案会自动生成开箱即用的仪表板，用于分析不同格式（例如 Nginx、JSON 和 Spring Boot）的 AWS 服务日志和应用程序日志。通过与其他 AWS 服务相结合，该解决方案可以为您提供一个一站式平台，以便开始对您的 AWS 环境和应用程序进行日志记录和监控。

优势

易于使用

您可以在 AWS 账户中轻松部署解决方案，并使用 Web 控制台提取应用程序日志和 AWS 服务日志。您可以使用开箱即用的可视化仪表板快速分析日志。

运营效率更高

该解决方案将无服务器技术与内置的高可用性和按使用付费的计费模式相结合。该架构减少了对基础架构管理的需求，使您可以将更多精力放在构建业务日志分析上。

开源和自定义

它是一个开源解决方案，可免费用于商业用途。您只需为 AWS 使用量付费。如果您有不同的应用场景，则可以将源代码作为参考，创建自己的实施。

技术详情

下图显示了您可以使用该解决方案实施指南和随附的 Amazon CloudFormation 模板自动部署的架构。

Centralized Logging with OpenSearch | 架构图

第 1 步
Amazon CloudFront 分配 Amazon Simple Storage Service (Amazon S3) 存储桶中托管的前端 Web UI 资产。

第 2 步
可以使用 Amazon Cognito 用户群体或 OpenID Connector (OIDC) 进行身份验证。

第 3 步
AWS AppSync 提供后端 GraphQL API。

第 4 步
Amazon DynamoDB 以后端数据库的形式存储与解决方案相关的信息。

第 5 步
AWS Lambda 与其他 AWS 服务交互，以处理管理日志管道或日志代理的核心逻辑，并获取 DynamoDB 表中更新的信息。

第 6 步
AWS Step Functions 按需编排预定义堆栈组的 AWS CloudFormation 部署，以便进行日志管道管理。日志管道堆栈可以部署单独的 AWS 资源，用于收集和处理日志并将其提取到 Amazon OpenSearch Service 中以进行进一步分析和可视化。

第 7 步
通过 Centralized Logging with OpenSearch 控制台按需预置服务日志管道或应用程序日志管道。

第 8 步
AWS Systems Manager 和 Amazon EventBridge 管理日志代理以便收集来自应用程序服务器的日志，例如为应用程序服务器安装日志代理 (Fluent Bit) 和监控代理的运行状况。

第 9 步
Amazon EC2 或 Amazon EKS 安装 Fluent Bit 代理并将日志数据上传到应用程序日志管道。

第 10 步
应用程序日志管道读取、解析并处理应用程序日志，并将它们提取到 Amazon OpenSearch Service 域中。

第 11 步
服务日志管道读取、解析并处理 AWS 服务日志，并将它们提取到 Amazon OpenSearch Service 域中。