在 20 分钟内在 AWS 上使用 Amazon OpenSearch Service 构建集中式日志分析平台
概览
Centralized Logging with OpenSearch 可帮助组织使用 Amazon OpenSearch Service 收集、提取和可视化来自各种来源的日志数据。该 AWS 解决方案提供了一个基于 Web 的控制台，您只需点击几下即可使用该控制台来创建日志提取管道。日志提取管道包括日志收集代理部署、日志富化（无需编写代码）、缓冲层创建以及 OpenSearch 索引配置。日志存储在 OpenSearch Service 中后，该解决方案会自动生成即用型控制面板，用于分析不同格式（例如 Nginx、JSON 和 Spring Boot）的 AWS 服务日志和应用程序日志。通过与其他 AWS 服务相结合，该解决方案可以为您提供一个一站式环境，以便开始对您的 AWS 应用程序进行日志记录和监控。
优势
使用 AWS 账户中的 Web 控制台提取应用程序和 AWS 服务日志，然后使用可视化控制面板分析日志。
具有内置高可用性和按使用量付费计费模式的无服务器技术减少了对基础设施管理的需求，使您能够更加专注于为您的业务构建日志分析。
它是一个开源解决方案，可免费用于商业用途。您只需为 AWS 使用量付费。您可以将源代码作为参考，自行创建可满足自身需求的实施。
技术详情
第 1 步
Amazon CloudFront 分配 Amazon Simple Storage Service（Amazon S3）存储桶中托管的前端 Web 用户界面（UI）资产。
第 2 步
可以使用 Amazon Cognito 用户群体或 OpenID Connector (OIDC) 进行身份验证。
第 3 步
AWS AppSync 提供后端 GraphQL API。
第 4 步
Amazon DynamoDB 以后端数据库的形式存储与解决方案相关的信息。
第 5 步
AWS Lambda 与其他 AWS 服务交互，以处理管理日志管道或日志代理的核心逻辑，并获取 DynamoDB 表中更新的信息。
第 6 步
AWS Step Functions 按需编排预定义堆栈组的 CloudFormation 部署，以便进行日志管道管理。日志管道堆栈可以部署单独的 AWS 资源，用于收集和处理日志并将其提取到 Amazon OpenSearch Service 中以进行进一步分析和可视化。
第 8 步
AWS Systems Manager 和 Amazon EventBridge 管理日志代理以便收集来自应用程序服务器的日志，例如为应用程序服务器安装日志代理 (Fluent Bit) 和监控代理的运行状况。
第 9 步
Amazon Elastic Compute Cloud（Amazon EC2）或 Amazon Elastic Kubernetes Service（Amazon EKS）安装 Fluent Bit 代理并将日志数据上传到应用程序日志管道。
第 10 步
应用程序日志管道读取、解析并处理应用程序日志，并将它们提取到 OpenSearch Service 域或 Light Engine 中。
第 11 步
服务日志管道读取、解析并处理 AWS 服务日志，并将它们提取到 OpenSearch Service 域或 Light Engine 中。
第 1 步
Amazon CloudFront 分配 Amazon Simple Storage Service（Amazon S3）存储桶中托管的前端 Web 用户界面（UI）资产。
第 2 步
可以使用 Amazon Cognito 用户群体或 OpenID Connector (OIDC) 进行身份验证。
第 3 步
AWS AppSync 提供后端 GraphQL API。
第 4 步
Amazon DynamoDB 以后端数据库的形式存储与解决方案相关的信息。
第 5 步
AWS Lambda 与其他 AWS 服务交互，以处理管理日志管道或日志代理的核心逻辑，并获取 DynamoDB 表中更新的信息。
第 6 步
AWS Step Functions 按需编排预定义堆栈组的 CloudFormation 部署，以便进行日志管道管理。日志管道堆栈可以部署单独的 AWS 资源，用于收集和处理日志并将其提取到 Amazon OpenSearch Service 中以进行进一步分析和可视化。
第 8 步
AWS Systems Manager 和 Amazon EventBridge 管理日志代理以便收集来自应用程序服务器的日志，例如为应用程序服务器安装日志代理 (Fluent Bit) 和监控代理的运行状况。
第 9 步
Amazon Elastic Compute Cloud（Amazon EC2）或 Amazon Elastic Kubernetes Service（Amazon EKS）安装 Fluent Bit 代理并将日志数据上传到应用程序日志管道。
第 10 步
应用程序日志管道读取、解析并处理应用程序日志，并将它们提取到 OpenSearch Service 域或 Light Engine 中。
第 11 步
服务日志管道读取、解析并处理 AWS 服务日志，并将它们提取到 OpenSearch Service 域或 Light Engine 中。
在 AWS 区域中使用现有 VPC 启动
在 AWS 中国区域内使用新的 VPC 启动
在 AWS 中国区域内使用现有 VPC 启动