Сбор данных

Простой сбор и хранение журналов

Сервис Amazon CloudWatch Logs позволяет собирать и хранить журналы ресурсов, приложений и сервисов в режиме, близком к реальному времени. Существуют три основные категории журналов. 1. Предоставленные журналы. Эти журналы автоматически публикуются сервисами AWS от имени клиента. В настоящее время поддерживаются два типа журналов: журналы Amazon VPC Flow Logs и Amazon Route 53. 2. Журналы, публикуемые сервисами AWS. В настоящее время более 30 сервисов AWS публикуют журналы в CloudWatch. В число таких сервисов входят Amazon API Gateway, AWS Lambda, AWS CloudTrail и многие другие. 3. Пользовательские журналы. Это журналы пользовательских приложений и локальных ресурсов. Можно установить агент CloudWatch с помощью AWS Systems Manager или без труда публиковать журналы с помощью действия API PutLogData.

Встроенные метрики

Сбор метрик из распределенных приложений (например, на базе микросервисов) отнимает много времени. Amazon CloudWatch позволяет собирать стандартные метрики более чем из 70 сервисов AWS, таких как Amazon EC2, Amazon DynamoDB, Amazon S3, Amazon ECS, AWS Lambda и Amazon API Gateway, без каких-либо действий со стороны пользователя. Например, инстансы EC2 автоматически публикуют метрики загрузки ЦПУ, передачи данных и использования диска, что позволяет отслеживать изменения состояния. Можно использовать одну из семи встроенных метрик API Gateway для обнаружения задержек или одну из восьми встроенных метрик AWS Lambda для обнаружения ошибок и ограничений. Если требуются более подробные метрики, чем стандартные, например метрики сегментов Amazon Kinesis Data Streams, то можно просто подключить их для каждого ресурса.

Пользовательские метрики

Amazon CloudWatch позволяет собирать пользовательские метрики из приложений клиентов в целях мониторинга производительности, устранения неполадок и отслеживания тенденций. Например, активность пользователей – одна из пользовательских метрик, которые можно собирать и отслеживать в течение определенного периода времени. Можно использовать агент CloudWatch или действие API PutMetricData для публикации этих метрик в CloudWatch. Для данных, собранных пользовательскими метриками, доступны все функции CloudWatch с посекундным обновлением, включая отображение статистики, графиков и оповещений.

Сбор и агрегация метрик и журналов контейнеров

Сервис Container Insights упрощает сбор и агрегацию специально подобранных метрик и журналов системы контейнеров. Он собирает метрики производительности вычислений, среди которых информация об использовании ЦПУ, памяти, сети и диска. Сервис производит сбор для каждого контейнера в виде событий производительности и автоматически генерирует пользовательские метрики, используемые для мониторинга и предупреждений. События производительности поступают в виде журналов CloudWatch Logs с метаданными о запущенном окружении, такими как идентификатор инстанса Amazon EC2, сервис, точка подключения и идентификатор тома Amazon EBS и т. д. Это упрощает мониторинг и устранение неполадок. Пользовательские метрики CloudWatch автоматически извлекаются из этих журналов, после чего их можно анализировать с помощью языка расширенных запросов CloudWatch Logs Insights. Container Insights также позволяет собирать журналы приложений (stdout / stderr), пользовательские журналы, предопределенные журналы инстанса Amazon EC2, журналы плоскости данных Amazon EKS / k8s и журналы плоскости управления Amazon EKS. Для сбора журналов кластеров Amazon EKS и k8s можно использовать заранее настроенный агент FluentD. Подробнее см. в документации по настройке журналов Container Insights. Для сбора журналов приложений Amazon ECS можно использовать драйвер журналов Amazon CloudWatch Logs или Fluent Bit.

Сбор и агрегация метрик и журналов Lambda

Сервис CloudWatch Lambda Insights упрощает сбор и агрегацию специально подобранных метрик и журналов из функций AWS Lambda. Он собирает метрики производительности вычислений, среди которых информация об использовании ЦПУ, памяти и сети. Сервис производит сбор для каждой функции Lambda в виде событий производительности и автоматически генерирует пользовательские метрики, используемые для мониторинга и предупреждений. События производительности собираются в виде журналов CloudWatch для упрощения мониторинга и устранения неполадок. Пользовательские метрики CloudWatch автоматически извлекаются из этих журналов, после чего их можно анализировать с помощью языка расширенных запросов CloudWatch Logs Insights. Подробнее см. в документации по началу работы с Lambda Insights.

Мониторинг

Комплексное представление всех рабочих процессов в панелях управления

Панели управления Amazon CloudWatch позволяют создавать пригодные для многократного использования графики и обеспечивают единое представление данных для визуализации облачных ресурсов и приложений. Метрики и данные журналов можно отображать в графическом виде рядом друг с другом на одной панели управления, что позволяет быстро получить необходимые данные и выявить причину проблемы по результатам диагностики. Например, можно визуализировать ключевые метрики, такие как использование процессора и памяти, и сопоставить их с имеющимися ресурсами. Можно связать шаблон журнала с определенной метрикой и настроить предупреждения, чтобы заблаговременно выявлять проблемы с производительностью и операционные неполадки. Это дает общее представление о работоспособности системы и позволяет быстро устранять неполадки, что уменьшает среднее время устранения проблем (MTTR).

Составные предупреждения

С помощью составных предупреждений Amazon CloudWatch можно комбинировать множество оповещений и снижать уровень помех от них. Если возникшая в приложении проблема затрагивает несколько его ресурсов, вы получите одно предупреждение для всего приложения, а не по одному для каждого затронутого компонента или ресурса сервиса. Это поможет сосредоточиться на поиске первопричины операционных проблем и сократить время простоя приложения. Вы можете указывать общее состояние для группировки таких ресурсов, как приложение, регион AWS или зона доступности.

Высокочастотные предупреждения

С помощью предупреждений Amazon CloudWatch можно установить для метрик пороговые значения, по достижении которых будут выполняться определенные действия. Можно создавать высокочастотные предупреждения, устанавливать процентильные пороги и настраивать выполнение какого-либо действия при необходимости. Например, можно создавать предупреждения на основе метрик Amazon EC2, настраивать уведомления и выполнять одно или несколько действий для обнаружения и отключения неиспользуемых или неэффективно используемых инстансов. Предупреждения в режиме реального времени на основе метрик и событий позволяют свести к минимуму время простоя и потенциальное влияние на бизнес.

Сопоставление журналов и метрик

Приложения и ресурсы инфраструктуры генерируют множество операционных данных и данных мониторинга в виде журналов и метрик. Amazon CloudWatch предоставляет единую платформу для доступа к этим наборам данных и их визуализации, а также позволяет без труда сопоставлять метрики и журналы. Это позволяет быстро выявить основную причину проблемы по результатам диагностики. Можно связать шаблон журнала, например ошибку, с конкретной метрикой и настроить предупреждения, чтобы заблаговременно выявлять проблемы с производительностью и операционные неполадки.

Application Insights

Amazon CloudWatch Application Insights производит автоматизированную настройку возможностей наблюдения для ваших корпоративных приложений, чтобы вы получали сведения о работоспособности таких приложений. Это позволяет определить и настроить основные метрики и журналы во всех ваших ресурсах приложения и технологических стеках, т. е. базах данных, веб-серверах (IIS) и серверах приложений, операционной системе, балансировщиках нагрузки, запросах и т. д. Сервис непрерывно отслеживает эти телеметрические данные для обнаружения и корреляции аномалий и ошибок, уведомляя вас о проблемах, возникших в приложении. Чтобы устранять неполадки, он создает автоматизированные панели управления для обнаруженных проблем со связанными метрическими аномалиями и журналами ошибок, а также с дополнительной аналитической информацией об их возможной исходной причине. Это позволяет быстро корректировать работу приложений, обеспечивая их эффективность без влияния на конечных пользователей.

Мониторинг и аналитика контейнеров

Container Insights предоставляет автоматические панели управления в консоли CloudWatch. Эти панели отображают сводку по вычислительной производительности, ошибкам и предупреждениям по кластерам, подам / задачам и сервису. Панели управления Amazon EKS и k8s также доступны для узлов / инстансов EC2 и пространств имен. На панелях управления отображены сводки по использованию ЦПУ и памяти для запущенных подов/задач или контейнеров за выбранный период времени, что позволяет в зависимости от контекста (выбранного интервала, пода/задачи и контейнера) перейти к более подробным журналам приложений, отслеживаниям AWS X‑Ray и событиям производительности. 

Мониторинг и аналитика Lambda

Lambda Insights предоставляет автоматические панели управления в консоли CloudWatch. Эти панели отображают производительность и ошибки вычислений. На каждой панели отображается список метрик за выбранный период времени, что позволяет (в зависимости от выбранного интервала и функции) перейти к более подробным журналам приложений, отслеживаниям AWS X‑Ray и событиям производительности.

Обнаружение аномалий

Сервис Amazon CloudWatch Anomaly Detection применяет алгоритмы машинного обучения для непрерывного анализа данных метрики и обнаруживает аномалии. С его помощью можно создавать предупреждения, пороговые значения для которых автоматически изменяются в отношении шаблонов естественных метрик, например сезонных колебаний в зависимости от времени дня, дня недели или изменения тенденций. Кроме того, можно визуализировать метрики в виде полос обнаружения аномалий. Таким образом вы сможете отслеживать и выявлять неожиданные изменения в метриках и устранять их причины.

ServiceLens

С помощью сервиса Amazon CloudWatch ServiceLens можно из единого центра визуализировать данные о работоспособности, производительности и доступности ваших приложений. Сервис CloudWatch ServiceLens работает совместно с метриками и журналами CloudWatch, а также с маршрутами из сервиса AWS X-Ray, позволяя вам получать полную картину своих приложений и их зависимостей. Благодаря этому вы можете быстро обнаруживать элементы, ухудшающие производительность, выявлять первопричины проблем, связанных с приложениями, и определять затронутых пользователей. С помощью сервиса CloudWatch ServiceLens можно получить полную картину ваших приложений в трех основных областях: мониторинг инфраструктуры (с использованием метрик и журналов, чтобы понимать, какие ресурсы используются для поддержки ваших приложений), мониторинг транзакций (использование маршрутов для понимания зависимостей между вашими ресурсами) и мониторинг конечных пользователей (использование программ-осведомителей для мониторинга конечных точек и уведомления вас в случае ухудшения условий работы для конечных пользователей). В сервисе CloudWatch ServiceLens имеется карта сервисов, на которой визуализированы контекстные связи между всеми вашими ресурсами, и интуитивно понятный интерфейс, благодаря чему вы можете еще глубже изучать коррелированные данные мониторинга.

Synthetics

Сервис Amazon CloudWatch Synthetics упрощает мониторинг конечных точек приложений. Он круглосуточно каждую минуту выполняет тесты для ваших конечных точек и предупреждает вас, когда конечные точки приложений ведут себя не так, как ожидается. Эти тесты можно настроить для проверки доступности, задержек, транзакций, испорченных или неработоспособных ссылок, пошагового выполнения задач, ошибок загрузки страниц, задержек нагрузки для активов пользовательских интерфейсов, потоков сложных мастеров или потоков проверки в ваших приложениях. Вы также можете использовать сервис CloudWatch Synthetics, чтобы выявлять конечные точки приложений, для которых получены аварийные сигналы, и сопоставлять их с проблемами базовой инфраструктуры, что позволяет уменьшить среднее время устранения неисправностей. Благодаря этому новому компоненту сервис CloudWatch теперь собирает трафик программ-осведомителей, которые могут непрерывно проверять условия работы ваших клиентов, даже если их трафик не проходит через ваши приложения. Это позволяет обнаруживать проблемы до того, как их обнаружат ваши клиенты. Сервис CloudWatch Synthetics поддерживает мониторинг ваших REST API, URL-адресов и контента веб-сайтов, проверяет наличие неавторизованных изменений вследствие фишинга, инъекции кода или выполнения межсайтовых сценариев.

Потоковые метрики

Потоки метрик Amazon CloudWatch позволяют создавать непрерывные потоки метрик в режиме, близком к реальному времени в выбранное вами местоположение. Потоки метрик упрощают отправку метрик CloudWatch популярным сторонним поставщикам сервисов с использованием HTTP-адреса Amazon Kinesis Data Firehose. Вы можете создать непрерывный масштабируемый поток, включив в него самые актуальные метрики CloudWatch для работы панелей управления, предупреждений и других инструментов, которые зависят от точных и своевременных метрик. Вы без проблем можете направить метрики в озеро данных на AWS, например на Amazon Simple Storage Service (S3), и начать анализировать использование или производительность с помощью таких инструментов, как Amazon Athena.

Принятие мер

Auto Scaling

Auto Scaling позволяет автоматизировать планирование ресурсов. Можно установить для ключевой метрики пороговое значение, по достижении которого будет отправляться предупреждение и автоматически выполняться действие Auto Scaling. Например, можно настроить рабочий процесс Auto Scaling для добавления или удаления инстансов EC2 на основании метрик загрузки ЦПУ и оптимизировать таким образом затраты на ресурсы.

Автоматизация реагирования на операционные изменения с помощью CloudWatch Events

CloudWatch Events генерирует поток системных событий, описывающих изменение ресурсов AWS, в режиме, близком к реальному времени. Сервис позволяет быстро реагировать на операционные изменения и принимать корректирующие меры. От пользователя требуется только создать правила, прописав в них события, актуальные для приложения, и автоматические действия при наступлении таких событий. Например, можно создать правило для вызова функций AWS Lambda или отправки оповещения в тему Amazon Simple Notification Service (SNS).

Предупреждения и автоматизация действий для кластеров EKS, ECS и k8s

Для кластеров Amazon EKS и k8s сервис Container Insights позволяет вызывать предупреждения по вычислительным метрикам, чтобы запускать политики автомасштабирования для группы Amazon EC2 Auto Scaling и предоставляет возможность останавливать, перезапускать и восстанавливать любые инстансы Amazon EC2, а также завершать их работу. В случае с кластерами Amazon ECS вычислительные метрики можно использовать для автоматического масштабирования с помощью Service Auto Scaling.  

Анализ

Точные данные с длительным сроком хранения

Amazon CloudWatch позволяет до 15 месяцев хранить метрики для отслеживания тенденций и сезонности. Это дает возможность анализировать исторические данные для точной настройки использования ресурсов. Кроме того, CloudWatch позволяет получать метрики работоспособности с детализацией вплоть до 1 секунды, включая пользовательские метрики из локальных приложений клиента. Точные данные, поступающие в режиме реального времени, повышают качество визуализации и дают возможность определять и отслеживать тенденции для оптимизации производительности приложений и работоспособности системы.

Специальные операции над метриками

Amazon CloudWatch Metric Math позволяет выполнять расчеты с использованием нескольких метрик в целях анализа в режиме реального времени. Благодаря этому можно без труда получать аналитическую информацию на основании существующих метрик CloudWatch, чтобы лучше понимать состояние и производительность инфраструктуры. Полученные расчетные метрики можно визуализировать в Консоли управления AWS, добавлять их в панели управления CloudWatch или извлекать с помощью действия API GetMetricData. Metric Math поддерживает арифметические операции сложения, вычитания, деления и умножения, а также математические функции суммирования, поиска среднего арифметического, минимума, максимума и среднеквадратического отклонения.

Анализ журналов

Amazon CloudWatch Logs Insights позволяет извлекать полезную информацию из журналов для решения эксплуатационных проблем без необходимости выделения серверов или управления программным обеспечением. Можно немедленно начать написание запросов, содержащих совокупности, фильтры и регулярные выражения. Кроме того, можно визуализировать данные временных рядов, глубоко изучить отдельные события журнала и экспортировать результаты запросов на панели управления CloudWatch. Это предоставляет полный операционный контроль. Несколькими щелчками в Консоли управления AWS можно начать использовать Logs Insights для запросов ко всем журналам, отправляемым в CloudWatch. Оплачиваются только выполненные запросы.

Анализ метрик, журналов и отслеживаний контейнеров

Сервис Container Insights упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений (stdout/stderr), пользовательским журналам, предопределенным журналам инстансов Amazon EC2, журналам плоскости данных Amazon EKS/k8s и журналам плоскости управления Amazon EKS c помощью языка расширенных запросов CloudWatch Logs Insights.

Анализ метрик, журналов и отслеживаний Lambda

Сервис Lambda Insights упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений и пользовательским журналам c помощью языка расширенных запросов CloudWatch Logs Insights.

Contributor Insights

Теперь сервис Amazon CloudWatch включает сервис Contributor Insights, который анализирует данные временных рядов и создает представления со сведениями об элементах, которые сильнее всего влияют на производительность системы. После настройки сервиса Contributor Insights он работает непрерывно, не требуя вмешательства пользователя. Благодаря этому разработчики и операторы могут быстрее выявлять, диагностировать и устранять проблемы во время эксплуатационных мероприятий. Сервис Contributor Insights помогает понять, кто или что (например, определенный ресурс, аккаунт клиента или вызов API) оказывает влияние на производительность вашей системы и приложений. Это позволяет обнаруживать выбросы, находить самые проблемные шаблоны трафика и ранжировать наиболее используемые системные процессы. Вы можете создавать правила Contributor Insights, чтобы оценивать шаблоны в структурированных событиях журналов по мере их поступления в сервис CloudWatch Logs, в том числе журналов из сервисов AWS, например сервисов AWS CloudTrail, Amazon Virtual Private Cloud, Amazon API Gateway и любых других пользовательских журналов, отправляемых вашим сервисом или локальными серверами, например журналов доступа Apache. Сервис Contributor Insights оценивает эти события журналов в режиме реального времени и отображает отчеты, в которых показаны основные элементы, оказывающие влияние на систему, и количество уникальных элементов в наборе данных. Элемент, оказывающий влияние на систему, – это агрегированная метрика на основе измерений, содержащихся в полях журналов в сервисе CloudWatch Logs, например идентификатор аккаунта или интерфейса в сервисе VPC Flow Logs либо любой другой пользовательский набор измерений. Вы можете сортировать и фильтровать данные этих элементов на основе ваших собственных пользовательских критериев. Данные отчетов Contributor Insights можно отображать на панелях управления CloudWatch, строить на их основе графики рядом с метриками CloudWatch и добавлять их в аварийные сигналы CloudWatch.

Соответствие требованиям и безопасность

Сервис Amazon CloudWatch интегрирован с AWS Identity and Access Management (IAM), что позволяет управлять доступом пользователей и ресурсов к данным, а также определять способ доступа к ним.

Кроме того, Amazon CloudWatch Logs соответствует требованиям PCI и FedRamp. Данные шифруются при хранении и во время передачи. Можно также шифровать группы журналов с помощью AWS KMS для обеспечения дополнительной безопасности и соответствия требованиям.

Подробнее о ценах на Amazon CloudWatch

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon CloudWatch
Есть вопросы?
Свяжитесь с нами