Recursos do Amazon CloudWatch

O serviço Amazon CloudWatch Logs permite coletar e armazenar logs de recursos, aplicações e serviços praticamente em tempo real. Há três categorias principais de logs:

1) Vended logs Esses logs são publicados nativamente pelos serviços da AWS em seu nome. No momento, há dois tipos compatíveis: Amazon VPC Flow Logs e logs do Amazon Route 53.

2) Logs publicados pelos serviços da AWS. No momento, mais de 30 serviços da AWS publicam logs para o CloudWatch. Eles incluem o Amazon API Gateway, o AWS Lambda, o AWS CloudTrail e muitos outros.

3) Logs personalizados. Logs de seus próprios aplicativos e recursos locais.

Você pode usar o AWS Systems Manager para instalar um CloudWatch Agent ou usar a ação de API PutLogData para publicar logs com facilidade.

O Amazon CloudWatch permite coletar métricas de infraestrutura de mais de 70 serviços da AWS, como Amazon Elastic Compute Cloud (Amazon EC2), Amazon DynamoDB, Amazon Simple Storage Service (Amazon S3), Amazon ECS, AWS Lambda e Amazon API Gateway, sem que você precise executar nenhuma ação. Por exemplo, as instâncias do Amazon EC2 publicam métricas de utilização de CPU, transferência de dados e uso de disco para ajudar a compreender mudanças de estado. Você pode usar métricas incorporadas do API Gateway para detectar latência ou usar métricas incorporadas do AWS Lambda para detectar erros e gargalos. Da mesma forma, o Amazon CloudWatch também permite coletar métricas (como atividade do usuário, métricas de erro ou memória usada) de suas próprias aplicações para monitorar a performance operacional, solucionar problemas e detectar tendências. Você pode usar o CloudWatch Agent ou a chamada de serviço da API PutMetricData para publicar essas métricas no CloudWatch. Se você precisar de métricas mais detalhadas que as métricas de infraestrutura padrão para exemplo, como métricas de fragmento do Amazon Kinesis Data Streams, basta solicitá-las para cada recurso necessário. Da mesma forma, as métricas da aplicação estão disponíveis com frequência de até um segundo e podem ser usadas em estatísticas, gráficos e alarmes com alta resolução.

O Container Insights simplifica a coleta e a agregação de métricas administradas e logs do ecossistema de contêineres. O serviço coleta métricas de performance de computação como informações sobre CPU, memória, rede e disco de cada contêiner como eventos de performance e gera automaticamente métricas personalizadas para monitoramento e geração de alarmes. Os eventos de performance são ingeridos como CloudWatch Logs com metadados sobre o ambiente em execução, como ID de instância do Amazon EC2, serviço e montagem e ID do volume do Amazon Elastic Block Store (Amazon EBS), para simplificar o monitoramento e a solução de problemas. As métricas personalizadas do CloudWatch são extraídas automaticamente dos logs ingeridos e podem ser analisadas mais detalhadamente usando a linguagem de consultas avançada do CloudWatch Logs Insights. O Container Insights também oferece uma opção para coletar logs de aplicações (stdout/stderr), logs personalizados, logs predefinidos de instâncias do Amazon EC2, logs do plano de dados do Amazon EKS/k8s e logs do ambiente de gerenciamento do Amazon EKS. Para clusters do Amazon EKS e do k8s, é possível usar um agente pré-configurado do FluentD para coletar os logs. Consulte a documentação da configuração dos logs do Container Insights para obter mais detalhes. Para o Amazon ECS, o driver de registro em log do Amazon CloudWatch Logs ou o Fluent Bit podem ser usados para coletar logs de aplicações.

O CloudWatch Lambda Insights simplifica a coleta e agregação de métricas e registros selecionados das funções do AWS Lambda. Ele coleta métricas de desempenho de computação, como CPU, memória e rede de cada função Lambda como eventos de desempenho, enquanto gera automaticamente métricas personalizadas usadas para monitoramento e alarmes. Os eventos de desempenho são ingeridos como CloudWatch Logs para simplificar o monitoramento e a solução de problemas. As métricas personalizadas do CloudWatch são extraídas automaticamente destes logs ingeridos e podem ser analisadas mais detalhadamente usando a linguagem de consultas avançada do CloudWatch Logs Insights. Consulte a documentação de primeiros passos do Lambda Insights para obter mais detalhes.

O Amazon CloudWatch Metric Streams permite que você crie fluxos de métricas contínuos, quase em tempo real, para um destino de sua escolha. Isso facilita o envio de métricas do CloudWatch para provedores de serviços de terceiros populares usando um endpoint HTTP do Amazon Kinesis Data Firehose. Você pode criar uma transmissão contínua e escalável, incluindo os dados de métricas mais atualizados do CloudWatch, para potencializar painéis, alarmes e outras ferramentas que dependem de dados de métricas precisos e oportunos. Direcione facilmente as métricas para seu data lake na AWS, como no Amazon S3, e comece a analisar o uso ou a performance com ferramentas como o Amazon Athena.

No CloudWatch, a observabilidade entre contas permite que você monitore e solucione problemas de aplicações distribuídas em várias contas em uma determinada região. Você pode pesquisar grupos de logs armazenados em várias contas com uma visão central, executar consultas do Logs Insights entre contas e criar regras do Contributor Insights entre contas para identificar os N principais responsáveis pela geração de entradas de log. Também é possível visualizar métricas de várias contas de forma consolidada e criar alarmes que avaliam métricas de outras contas para receber notificações sobre anomalias e problemas em alta. Com a observabilidade entre contas no CloudWatch, você pode visualizar um mapa interativo das aplicações entre contas usando o ServiceLens com a busca detalhada de etapa única das métricas, dos logs e dos rastreamentos relevantes. A observabilidade entre contas no CloudWatch oferece uma visão operacional holística em apenas algumas etapas, sem a necessidade de pipelines de dados adicionais, economizando tempo, esforço e custos no gerenciamento de sua infraestrutura e aplicações.

Os painéis do Amazon CloudWatch permitem criar gráficos reutilizáveis e ver recursos e aplicações de nuvem em uma visualização unificada. Você pode exibir gráficos de métricas e logs lado a lado em um único painel para obter rapidamente o contexto e passar do diagnóstico do problema para a compreensão da causa raiz. Por exemplo, você pode visualizar as principais métricas, como utilização de CPU e memória, e compará-las à capacidade. Também é possível correlacionar o padrão de logs de uma métrica específica e definir alarmes para alertar em caso de problemas de performance ou operacionais. Esses recursos proporcionam uma visibilidade da integridade operacional de todo o sistema e a capacidade de solucionar os problemas rapidamente, reduzindo o Mean Time to Resolution (MTTR – Tempo médio de resolução).

Com os alarmes compostos do Amazon CloudWatch, é possível combinar múltiplos alarmes e reduzir alarmes falsos. Se um problema afetar vários recursos na aplicação, você receberá uma única notificação de alarme para toda a aplicação, em vez de uma para cada recurso afetado. Isso ajuda a manter o foco em encontrar a causa raiz dos problemas operacionais para reduzir o tempo de inatividade da aplicação. É possível fornecer um estado geral para um agrupamento de recursos, como uma aplicação, região da AWS ou zona de disponibilidade.

Os alarmes do Amazon CloudWatch permitem definir um limite para as métricas e acionar ações. Você pode criar alarmes de alta resolução, definir um percentil como estatística e especificar uma ação ou ignorar o alarme, conforme o caso. Por exemplo, é possível criar alarmes para a métricas do Amazon EC2, definir notificações e executar uma ou mais ações para detectar e encerrar instâncias não utilizadas ou subutilizadas. Os alarmes em tempo real de métricas e eventos permitem reduzir o tempo de inatividade e o possível impacto empresarial.

Recursos de aplicações e infraestrutura geram uma grande quantidade de dados operacionais e de monitoramento na forma de logs e métricas. Além de permitir o acesso e a visualização desses conjuntos de dados em uma única plataforma, o Amazon CloudWatch também torna mais fácil correlacioná-los. Isso ajuda a passar rapidamente do diagnóstico do problema à compreensão da causa raiz. Por exemplo, você pode correlacionar um padrão de logs, como um erro em uma métrica específica, e definir alarmes para alertar em caso de problemas operacionais e de performance.

O Amazon CloudWatch Application Insights fornece configuração automatizada de observabilidade para suas aplicações empresariais, para que você possa obter visibilidade sobre a integridade dessas aplicações. Ele ajuda a identificar e a configurar as principais métricas e os logs nos recursos de aplicações e na pilha de tecnologia, como em banco de dados, servidores da web (IIS) e de aplicações, sistema operacional, balanceadores de carga e filas. Monitorando constantemente esses dados de telemetria, ele detecta e correlaciona anomalias e erros e notifica sobre qualquer problema na aplicação. Para auxiliar a solução de problemas, ele cria painéis automatizados para os problemas de anomalias de métrica e erros de log detectados, além de oferecer insights adicionais que apontam para a possível causa raiz. Isso permite executar rapidamente medidas de correção para garantir a integridade das aplicações e evitar que os usuários sejam afetados.

O Container Insights oferece painéis automáticos no console do CloudWatch. Esses painéis sumarizam a performance, os erros e os alarmes de computação por cluster, pod/tarefa e serviço. Para o Amazon EKS e o k8s, os painéis também estão disponíveis para nós/instâncias do EC2 e namespaces. Cada painel resume a lista de pods/tarefas ou contêineres em execução por CPU e memória para a janela de tempo selecionada. Você pode se aprofundar nos logs de aplicativos, rastreamentos do AWS X-Ray e eventos de performance contextualmente, com base na janela de tempo e no pod/tarefa ou contêiner selecionado.

O Monitor de Internet oferece visibilidade de como os problemas da Internet afetam a performance e a disponibilidade entre as aplicações hospedadas na AWS e os usuários finais, reduzindo o tempo necessário para diagnosticá-los de dias para minutos. Você pode explorar medições para diferentes períodos de tempo e em diferentes granularidades geográficas, visualizar rapidamente o impacto dos problemas e, em seguida, tomar medidas para melhorar a experiência de seus usuários finais (por exemplo, alternando para outros serviços da AWS ou redirecionando o tráfego para sua workload por meio de diferentes regiões da AWS). Se o problema for causado pela rede da AWS, você receberá automaticamente uma notificação no AWS Health Dashboard informando as medidas tomadas pela AWS para mitigar o problema. O Internet Monitor fornece medições para métricas do CloudWatch e CloudWatch Logs, para comportar facilmente a integração de informações de integridade de regiões geográficas e redes específicas da sua aplicação. O Internet Monitor também envia eventos de saúde para o Amazon EventBridge, para que você possa configurar as notificações. O Internet Monitor monitora aplicações em Amazon Virtual Private Clouds (VPCs), distribuições do Amazon CloudFront e diretórios do Amazon WorkSpaces.

O Lambda Insights oferece painéis automáticos no console do CloudWatch. Esses painéis resumem a performance de computação e os erros. Cada painel inclui a lista de métricas para a janela de tempo selecionada e permite que você se aprofunde contextualmente (com base na janela de tempo e na função selecionada) em logs de aplicações, rastreamentos do AWS X-Ray e eventos de performance.

O Amazon CloudWatch Anomaly Detection aplica algoritmos de machine learning (ML) para analisar continuamente dados de determinada métrica e identificar comportamentos anômalos. Isso permite criar alarmes que ajustam automaticamente os limites com base em padrões métricos naturais, como hora do dia, sazonalidade do dia da semana ou tendências se transformando. Também é possível visualizar métricas com faixas de detecção de anomalias nos painéis. Isso lhe permite monitorar, isolar e solucionar problemas de alterações inesperadas em suas métricas.

Você pode usar o Amazon CloudWatch ServiceLens para visualizar e analisar a integridade, a performance e a disponibilidade das aplicações em um único local. Ele une métricas e logs do CloudWatch, bem como os rastreamentos do AWS X-Ray, para fornecer uma visão completa das aplicações e dependências. Identifique rapidamente gargalos de performance, isole as causas raízes dos problemas de aplicações e determine o impacto nos usuários. O CloudWatch ServiceLens permite obter visibilidade sobre suas aplicações em três áreas principais: monitoramento de infraestrutura (usando métricas e logs para entender os recursos compatíveis com suas aplicações), monitoramento de transações (usando rastreamentos para entender as dependências entre seus recursos) e monitoramento do usuário final (usando canaries para monitorar seus endpoints e notificar você quando a experiência do usuário final se deteriorar). O CloudWatch ServiceLens fornece um mapa de serviço que vincula todos os seus recursos, junto a uma interface intuitiva para que você possa mergulhar profundamente nos dados de monitoramento correlacionados.

O Amazon CloudWatch Synthetics permite monitorar endpoints de aplicações com mais facilidade. Ele executa testes em seus endpoints 24 horas por dia, sete dias por semana, e alerta caso eles não se comportem conforme o esperado. Esses testes podem ser personalizados para verificar a disponibilidade, latência, transações, links quebrados ou inoperantes, conclusão de tarefas detalhada, erros de carregamento da página, latências de carregamento para ativos da IU, fluxos complexos do assistente ou fluxos de checkout em suas aplicações. Você também pode usar o CloudWatch Synthetics para isolar endpoints de aplicações em estado de alarme e mapeá-los de volta aos problemas de infraestrutura subjacentes para reduzir o MTTR. Com esse novo recurso, agora o CloudWatch coleta tráfego canary, que pode verificar continuamente a experiência do cliente, mesmo quando você não tem nenhum tráfego de cliente nas aplicações, permitindo descobrir problemas antes que os clientes o façam. O CloudWatch Synthetics oferece suporte ao monitoramento de suas APIs REST, seus URLs e conteúdo do seu site, verificando alterações não autorizadas em relação a phishing, injeção de código e desenvolvimento de scripts multiplataforma.

O Amazon CloudWatch RUM oferece visibilidade da performance do lado do cliente da suas aplicações e reduz o MTTR. Ele permite que você colete dados do lado do cliente sobre a performance da aplicação Web quase em tempo real para identificar e depurar problemas. O CloudWatch RUM complementa os dados do CloudWatch Synthetics para dar mais visibilidade da experiência do usuário final. Você pode visualizar anomalias na performance e usar os dados de depuração relevantes (como mensagens de erro, rastreamentos de pilha e sessões de usuário) para corrigir problemas de performance (como erros de JavaScript, falhas latências). Você pode obter insights sobre a gama de impactos ao usuário final, incluindo número de usuários, geolocalização e navegadores. O CloudWatch RUM agrega dados sobre a jornada de seus usuários por meio da aplicação, o que pode ajudar a determinar quais recursos iniciar e correções de erros a priorizar.

O Auto Scaling ajuda a automatizar o planejamento de capacidade e recursos. Você pode definir um alarme para uma métrica principal e acionar uma ação automatizada de Auto Scaling. Por exemplo, é possível configurar um fluxo de trabalho de Auto Scaling para adicionar ou remover instâncias do EC2 com base em métricas de utilização de CPU e otimizar os custos dos recursos.

O CloudWatch Events fornece um stream de eventos do sistema praticamente em tempo real que descreve as alterações nos recursos da AWS. Dessa forma, você pode responder rapidamente a mudanças operacionais e executar ações corretivas. Basta escrever regras para indicar quais são os eventos relevantes para a aplicação e quais ações automáticas serão executadas quando uma regra corresponder a um evento. Por exemplo, você pode definir uma regra para invocar funções do AWS Lambda ou notificar um tópico do Amazon Simple Notification Service (Amazon SNS).

Para clusters do Amazon EKS e do k8s, o Container Insights permite gerar alarmes de métricas de computação para acionar políticas de Auto Scaling em um grupo do Amazon EC2 Auto Scaling e possibilita interromper, encerrar, reiniciar e recuperar qualquer instância do Amazon EC2. Para clusters do Amazon ECS, é possível usar as métricas de computação de tarefas e serviços do Auto Scaling de serviços.  

O Amazon CloudWatch permite monitorar tendências e sazonalidade com 15 meses de dados de métricas (armazenamento e retenção). Isso permite executar análises históricas para ajustar a utilização de recursos com precisão. Com o CloudWatch, também é possível coletar até um segundo de métricas de integridade, incluindo métricas personalizadas (como as geradas por aplicações on-premises). Os dados detalhados em tempo real permitem uma melhor visualização, bem como a detecção e o monitoramento de tendências, para otimizar a performance e a integridade operacional das aplicações.

O Amazon CloudWatch Metric Math permite executar cálculos em várias métricas para análises em tempo real. Assim, você pode obter facilmente insights das métricas atuais do CloudWatch e compreender melhor a integridade operacional e a performance da infraestrutura. Você pode visualizar essas métricas calculadas no Console de Gerenciamento da AWS, adicioná-las aos painéis do CloudWatch ou recuperá-las usando a ação de API GetMetricData. O Metric Math oferece suporte a operações aritméticas como +, -, /, * e a funções matemáticas (como soma, média, mínimo, máximo e desvio padrão).

O Amazon CloudWatch Logs Insights permite que você promova inteligência prática a partir dos seus logs para tratar problemas operacionais sem precisar provisionar servidores ou gerenciar software. Você pode começar imediatamente a escrever consultas com agregações, filtros e expressões regulares. Além disso, você pode visualizar dados de séries temporais, examinar detalhadamente eventos de log individuais e exportar resultados de consultas para o CloudWatch Dashboards. Isso proporciona visibilidade operacional completa. Com alguns cliques no Console de gerenciamento da AWS, você pode começar a usar Logs Insights para consultar logs enviados ao CloudWatch. Você paga apenas pelas consultas executadas.

O Container Insights simplifica a análise de dados observáveis de métricas, logs e rastreamentos, simplificando a vinculação detalhada de painéis automáticos a eventos de performance, logs de aplicações (stdout/stderr), logs personalizados, logs predefinidos de instâncias do Amazon EC2, logs do plano de dados do Amazon EKS/k8s e logs do ambiente de gerenciamento do Amazon EKS detalhados usando a linguagem de consultas avançada do CloudWatch Logs Insights.

O Lambda Insights simplifica a análise de dados observáveis de métricas, logs e rastreamentos, simplificando a vinculação profunda de painéis automáticos para eventos de performance detalhados, logs de aplicações e logs personalizados, usando a linguagem de consulta avançada do CloudWatch Logs Insights.

O Amazon CloudWatch agora inclui o Contributor Insights, que analisa dados de séries temporais para fornecer uma visão dos principais colaboradores que influenciam a performance do sistema. Depois de configurado, o Contributor Insights é executado continuamente, sem intervenção adicional do usuário. Isso ajuda desenvolvedores e operadores a isolar, diagnosticar e corrigir problemas mais rapidamente durante um evento operacional. O Contributor Insights ajuda a entender quem ou o que está afetando a performance do sistema e das aplicações, como um recurso específico, uma conta de cliente ou uma chamada de API. Isso permite que você identifique valores atípicos, encontre os padrões de tráfego mais pesados e classifique os processos do sistema mais usados. Você pode criar regras do Contributor Insights para avaliar padrões em eventos de log estruturados à medida que são enviados para o CloudWatch Logs, incluindo logs de serviços da AWS, como AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC), Amazon API Gateway e qualquer log personalizado enviado pelo seu serviço ou pelos servidores on-premises, como logs de acesso do Apache. O Contributor Insights avalia esses eventos de log quase em tempo real e exibe relatórios que mostram os principais colaboradores e o número de colaboradores únicos em um conjunto de dados. Um colaborador é uma métrica agregada com base em dimensões contidas como campos de log no CloudWatch Logs, como ID da conta ou ID da interface no VPC Flow Logs ou qualquer outro conjunto de dimensões personalizado. Você pode classificar e filtrar os dados do colaborador com base em seus próprios critérios personalizados. Os dados do relatório do Contributor Insights podem ser exibidos nos painéis do CloudWatch, representados graficamente ao lado das métricas do CloudWatch e adicionados aos alarmes do CloudWatch.

O Amazon CloudWatch Metrics Insights é um mecanismo de consulta baseado em SQL rápido e flexível que permite a identificação de tendências e padrões dentro de milhões de métricas operacionais quase em tempo real. O Metrics Insights permite a obtenção de uma melhor visibilidade da sua infraestrutura e a performance de aplicações em grande escala com consultas flexíveis e agregações de métricas em tempo real. As consultas do Metrics Insights podem ser usadas para criar visualizações poderosas, ajudando o monitoramento de forma proativa, a identificação de problemas rapidamente e a redução do MTTR. 

O Amazon CloudWatch Evidently permite que os desenvolvedores de aplicações conduzam experimentos e identifiquem consequências indesejadas de novos recursos antes de implementá-los para uso geral, reduzindo, assim, o risco relacionado à implementação de novos recursos. Evidentemente, permite que você valide novos recursos em toda a pilha de aplicações antes do lançamento, o que torna o lançamento mais seguro. Ao lançar novos recursos, você pode expô-los a uma pequena base de usuários, monitorar as principais métricas, como tempos de carregamento da página ou conversões e, em seguida, discar o tráfego. Evidentemente, também permite experimentar designs diferentes, coletar dados do usuário e liberar o design mais eficaz na produção. 

O Amazon CloudWatch está integrado ao AWS Identity and Access Management (IAM) para possibilitar o controle de quais usuários e recursos terão permissão para acessar os dados e como eles farão isso.

Além disso, o Amazon CloudWatch Logs está em conformidade com o PCI e o FedRamp. Os dados são criptografados em repouso e em trânsito. Você também pode usar a criptografia do AWS Key Management Service (AWS KMS) para criptografar grupos de logs para aumentar a conformidade e a segurança.

A proteção de dados do Amazon CloudWatch Logs ajuda você a definir políticas de proteção de dados que podem descobrir e proteger dados confidenciais registrados por sistemas e aplicações. Esse recurso identifica e mascara automaticamente informações confidenciais em seus logs usando ML e correspondência de padrões com base na política definida por você. A proteção de dados pode ajudar você a simplificar sua arquitetura ao descarregar a lógica de proteção de dados de suas aplicações e, ao mesmo tempo, ajudar a dar suporte a seus objetivos de conformidade. Você pode definir suas políticas de proteção de dados para verificar os logs à medida que são ingeridos para determinar a quantidade de dados confidenciais que eles contêm e mascarar os dados confidenciais detectados. Os dados mascarados também podem ser desmascarados para validação por engenheiros de segurança por meio de privilégios elevados com o IAM.