Crie uma plataforma centralizada de análise de logs com o Amazon OpenSearch Service na AWS em 20 minutos
Visão geral
A solução Centralized Logging with OpenSearch ajuda as organizações a coletar, consumir e visualizar dados de log de várias fontes usando o Amazon OpenSearch Service. Essa solução da AWS fornece um console baseado na Web que você pode usar para criar pipelines de ingestão de log com apenas alguns cliques. Esses pipelines de ingestão de log incluem implantação de agentes de coleta de log, aprimoramento de log sem escrever código, criação de uma camada de buffer e configuração de um índice do OpenSearch. Depois que os logs são armazenados no OpenSearch Service, a solução gera automaticamente painéis prontos para uso imediato para analisar logs de serviços da AWS e logs de aplicações em diferentes formatos (por exemplo, Nginx, JSON e Spring Boot). Em combinação com outros serviços da AWS, essa solução fornece um ambiente pronto para você registrar em log e monitorar suas aplicações da AWS.
Novidades
- Foi adicionada a Light Engine para fornecer um mecanismo de análise de log econômico e sem servidor baseado no Amazon Athena
- Foi adicionada a ingestão do Amazon OpenSearch para fornecer mais recursos de processamento de logs
Para saber mais sobre outros novos atributos, consulte a página Revisões.
Benefícios
Use um console Web da sua conta da AWS para ingerir logs de aplicações e serviços da AWS e, em seguida, analise os registros com painéis de visualização.
As tecnologias sem servidor com alta disponibilidade incorporada e um modelo de cobrança de pagamento por uso reduzem a necessidade de gerenciamento de infraestrutura, permitindo que você se concentre mais na criação de análises de logs para sua empresa.
A solução é de código aberto e gratuita para uso comercial. Você paga somente pelo uso da AWS. Use o código-fonte como referência para fazer uma própria implementação adequado às suas necessidades.
Detalhes técnicos
Você pode implantar automaticamente essa arquitetura usando o guia de implementação e os modelos do AWS CloudFormation para regiões da AWS ou regiões da AWS na China.
Etapa 1
O Amazon CloudFront distribui os ativos da interface de usuário (IU) Web front-end hospedados em um bucket do Amazon Simple Storage Service (Amazon S3).
Etapa 2
O grupo de usuários do Amazon Cognito ou o OpenID Connector (OIDC) podem ser usados para autenticação.
Etapa 3
O AWS AppSync fornece as APIs back-end do GraphQL.
Etapa 4
O Amazon DynamoDB armazena as informações relacionadas à solução como um banco de dados back-end.
Etapa 5
O AWS Lambda interage com outros serviços da AWS para processar a lógica central de gerenciamento de pipelines de log ou agentes de log e obtém informações atualizadas em tabelas do DynamoDB.
Etapa 6
O AWS Step Functions organiza a implantação sob demanda do CloudFormation de um conjunto de pilhas predefinidas para gerenciamento do pipeline de logs. As pilhas de pipelines de log implantam recursos separados da AWS e são usadas para coletar e processar logs e inseri-los no Amazon OpenSearch Service para análise e visualização posteriores.
Etapa 7
O Pipeline de log de serviços ou o Pipeline de log de aplicações é provisionado sob demanda por meio do console da solução de registro centralizado, com o console do OpenSearch.
Etapa 8
O AWS Systems Manager e o Amazon EventBridge gerenciam agentes de log para coletar logs de servidores de aplicações, como instalar agentes de log (Fluent Bit) em servidores de aplicações e monitorar o status de integridade dos agentes.
Etapa 9
O Amazon Elastic Compute Cloud (Amazon EC2) ou o Amazon Elastic Kubernetes Service (Amazon EKS) instala agentes Fluent Bit e carregam dados de log no pipeline de log da aplicação.
Etapa 10
Os pipelines de log de aplicações leem, analisam e processam logs de aplicações e os consomem em domínios do OpenSearch Service ou Light Engine.
Etapa 11
Os pipelines de log de serviços leem, analisam e processam logs de serviços da AWS e os consomem em domínios do OpenSearch Service ou Light Engine.
Etapa 1
O Amazon CloudFront distribui os ativos da interface de usuário (IU) Web front-end hospedados em um bucket do Amazon Simple Storage Service (Amazon S3).
Etapa 2
O grupo de usuários do Amazon Cognito ou o OpenID Connector (OIDC) podem ser usados para autenticação.
Etapa 3
O AWS AppSync fornece as APIs back-end do GraphQL.
Etapa 4
O Amazon DynamoDB armazena as informações relacionadas à solução como um banco de dados back-end.
Etapa 5
O AWS Lambda interage com outros serviços da AWS para processar a lógica central de gerenciamento de pipelines de log ou agentes de log e obtém informações atualizadas em tabelas do DynamoDB.
Etapa 6
O AWS Step Functions organiza a implantação sob demanda do CloudFormation de um conjunto de pilhas predefinidas para gerenciamento do pipeline de logs. As pilhas de pipelines de log implantam recursos separados da AWS e são usadas para coletar e processar logs e inseri-los no Amazon OpenSearch Service para análise e visualização posteriores.
Etapa 7
O Pipeline de log de serviços ou o Pipeline de log de aplicações é provisionado sob demanda por meio do console da solução de registro centralizado, com o console do OpenSearch.
Etapa 8
O AWS Systems Manager e o Amazon EventBridge gerenciam agentes de log para coletar logs de servidores de aplicações, como instalar agentes de log (Fluent Bit) em servidores de aplicações e monitorar o status de integridade dos agentes.
Etapa 9
O Amazon Elastic Compute Cloud (Amazon EC2) ou o Amazon Elastic Kubernetes Service (Amazon EKS) instala agentes Fluent Bit e carregam dados de log no pipeline de log da aplicação.
Etapa 10
Os pipelines de log de aplicações leem, analisam e processam logs de aplicações e os consomem em domínios do OpenSearch Service ou Light Engine.
Etapa 11
Os pipelines de log de serviços leem, analisam e processam logs de serviços da AWS e os consomem em domínios do OpenSearch Service ou Light Engine.
Conteúdo relacionado
Esta imagem mostra uma prévia do console web para registro em log centralizado com o OpenSearch.
Este blog descreve um recurso do Amazon CloudWatch para pesquisar, analisar e correlacionar dados de telemetria entre contas armazenados no CloudWatch, como métricas, logs e rastreamentos.
- Data de publicação
Iniciar com uma VPC existente nas regiões da AWS
Iniciar com uma nova VPC nas regiões da AWS na China
Iniciar com uma VPC existente nas regiões da AWS na China