Сбор данных

Простой сбор и хранение журналов

Сервис Amazon CloudWatch Logs позволяет собирать и хранить журналы ресурсов, приложений и сервисов в режиме, близком к реальному времени. Существуют три основные категории журналов.

1. Предоставленные журналы. Эти журналы автоматически публикуются сервисами AWS от вашего имени. В настоящее время поддерживаются два типа журналов: журналы Amazon VPC Flow Logs и Amazon Route 53.

2. Журналы, публикуемые сервисами AWS. В настоящее время более 30 сервисов AWS публикуют журналы в CloudWatch. В их число входят Amazon API Gateway, AWS Lambda, AWS CloudTrail и многие другие.

3. Пользовательские журналы. Это журналы пользовательских приложений и локальных ресурсов.

Можно установить агент CloudWatch с помощью AWS Systems Manager или без труда публиковать журналы с помощью действия API PutLogData.

Сбор и агрегирование метрик приложений и инфраструктуры

Amazon CloudWatch позволяет собирать метрики инфраструктуры более чем из 70 сервисов AWS, таких как Amazon Elastic Compute Cloud (Amazon EC2), Amazon DynamoDB, Amazon Simple Storage Service (Amazon S3), Amazon ECS, AWS Lambda и Amazon API Gateway, без каких-либо действий со стороны пользователя. Например, инстансы Amazon EC2 автоматически публикуют метрики загрузки процессора, передачи данных и использования диска, что позволяет отслеживать изменения состояния. Можно использовать встроенные метрики API Gateway для обнаружения задержек или встроенные метрики AWS Lambda для обнаружения ошибок или ограничений. Аналогичным образом, Amazon CloudWatch также позволяет собирать метрики приложений (например, активность пользователя, ошибки или использование памяти) для мониторинга производительности, устранения неполадок и отслеживания тенденций. Можно использовать агент CloudWatch или вызов сервиса API PutMetricData для публикации этих метрик в CloudWatch. Если требуются более подробные метрики, чем стандартные метрики инфраструктуры, например метрики сегментов Amazon Kinesis Data Streams, то можно просто подключить их для каждого ресурса. Аналогичным образом предоставляются метрики приложений с частотой до одного раза в секунду, которые можно использовать для статистики, визуализации и создания предупреждений с высокой степенью детализации.

Сбор и агрегация метрик и журналов контейнеров

Сервис Container Insights упрощает сбор и агрегацию специально подобранных метрик и журналов системы контейнеров. Он собирает метрики производительности вычислений, среди которых информация об использовании процессора, памяти, сети и диска. Сервис производит сбор для каждого контейнера в виде событий производительности и автоматически генерирует пользовательские метрики, используемые для мониторинга и предупреждений. События производительности поступают в виде журналов CloudWatch Logs с метаданными о запущенном окружении, такими как идентификатор инстанса Amazon EC2, сервис, точка подключения и идентификатор тома Amazon Elastic Block Store (Amazon EBS). Это упрощает мониторинг и устранение неполадок. Пользовательские метрики CloudWatch автоматически извлекаются из этих журналов, после чего их можно анализировать с помощью языка расширенных запросов CloudWatch Logs Insights. Container Insights также позволяет собирать журналы приложений (stdout / stderr), пользовательские журналы, предопределенные журналы инстанса Amazon EC2, журналы плоскости данных Amazon EKS / k8s и журналы плоскости управления Amazon EKS. Для сбора журналов кластеров Amazon EKS и k8s можно использовать заранее настроенный агент FluentD. Подробнее см. в документации по настройке журналов Container Insights. Для сбора журналов приложений Amazon ECS можно использовать драйвер журналов Amazon CloudWatch Logs или Fluent Bit.

Сбор и агрегация метрик и журналов Lambda

Сервис CloudWatch Lambda Insights упрощает сбор и агрегацию специально подобранных метрик и журналов из функций AWS Lambda. Он собирает метрики производительности вычислений, среди которых информация об использовании ЦПУ, памяти и сети. Сервис производит сбор для каждой функции Lambda в виде событий производительности и автоматически генерирует пользовательские метрики, используемые для мониторинга и предупреждений. События производительности собираются в виде журналов CloudWatch для упрощения мониторинга и устранения неполадок. Пользовательские метрики CloudWatch автоматически извлекаются из этих журналов, после чего их можно анализировать с помощью языка расширенных запросов CloudWatch Logs Insights. Подробнее см. в документации по началу работы с Lambda Insights.

Потоковые метрики

Потоки метрик Amazon CloudWatch позволяют создавать непрерывные потоки метрик в режиме, близком к реальному времени, в выбранное вами местоположение. Это упрощает отправку метрик CloudWatch популярным сторонним поставщикам сервисов с использованием HTTP-адреса Amazon Kinesis Data Firehose. Вы можете создать непрерывный масштабируемый поток, включив в него самые актуальные метрики CloudWatch для работы панелей управления, предупреждений и других инструментов, которые зависят от точных и своевременных метрик. Вы без проблем можете направить метрики в озеро данных на AWS, например на Amazon S3, и начать анализировать использование или производительность с помощью таких инструментов, как Amazon Athena.

Мониторинг

Комплексное представление всех рабочих процессов в панелях управления

Панели управления Amazon CloudWatch позволяют создавать пригодные для многократного использования графики и обеспечивают единое представление данных для визуализации облачных ресурсов и приложений. Метрики и данные журналов можно отображать в графическом виде рядом друг с другом на одной панели управления, что позволяет быстро получить необходимые данные и выявить причину проблемы по результатам диагностики. Например, можно визуализировать ключевые метрики, такие как использование процессора и памяти, и сопоставить их с имеющимися ресурсами. Можно связать шаблон журнала с определенной метрикой и настроить предупреждения, чтобы выявлять проблемы с производительностью и операционные неполадки. Это дает общее представление о работоспособности системы и позволяет быстро устранять неполадки, что уменьшает MTTR.

Составные предупреждения

С помощью составных предупреждений Amazon CloudWatch можно комбинировать множество оповещений и снижать уровень помех от них. Если возникшая проблема затрагивает несколько его ресурсов, вы получите одно предупреждение для всего приложения, а не по одному для каждого затронутого ресурса. Это поможет сосредоточиться на поиске первопричины операционных проблем и сократить время простоя приложения. Вы можете указывать общее состояние для группировки таких ресурсов, как приложение, регион AWS или зона доступности.

Высокочастотные предупреждения

С помощью предупреждений Amazon CloudWatch можно установить для метрик пороговые значения, по достижении которых будут выполняться определенные действия. Можно создавать высокочастотные предупреждения, устанавливать процентильные пороги и настраивать выполнение какого-либо действия при необходимости. Например, можно создавать предупреждения на основе метрик Amazon EC2, настраивать уведомления и выполнять одно или несколько действий для обнаружения и отключения неиспользуемых или неэффективно используемых инстансов. Предупреждения в режиме реального времени на основе метрик и событий позволяют свести к минимуму время простоя и потенциальное влияние на бизнес.

Корреляция журналов и метрик

Приложения и ресурсы инфраструктуры генерируют множество операционных данных и данных мониторинга в виде журналов и метрик. Amazon CloudWatch предоставляет единую платформу для доступа к этим наборам данных и их визуализации, а также позволяет без труда сопоставлять их. Это позволяет быстро выявить основную причину проблемы по результатам диагностики. Можно связать шаблон журнала, например ошибку, с конкретной метрикой и настроить предупреждения, чтобы выявлять проблемы с производительностью и операционные неполадки.

Application Insights

Amazon CloudWatch Application Insights производит автоматизированную настройку возможностей наблюдения для ваших корпоративных приложений, чтобы вы получали сведения об их работоспособности. Это позволяет определить и настроить основные метрики и журналы во всех ваших ресурсах приложения и технологических стеках, т. е. базах данных, веб-серверах (IIS) и серверах приложений, операционной системе, балансировщиках нагрузки и запросах. Сервис непрерывно отслеживает эти телеметрические данные для обнаружения и сопоставления аномалий и ошибок, уведомляя вас о проблемах, возникших в приложении. Чтобы устранять неполадки, он создает автоматизированные панели управления для обнаруженных проблем со связанными метрическими аномалиями и журналами ошибок, а также с дополнительной аналитической информацией об их возможной исходной причине. Это позволяет быстро корректировать работу приложений, обеспечивая их эффективность без влияния на конечных пользователей.

Мониторинг и аналитика контейнеров

Container Insights предоставляет автоматические панели управления в консоли CloudWatch. Эти панели отображают сводку по вычислительной производительности, ошибкам и предупреждениям по кластерам, подам / задачам и сервису. Панели управления Amazon EKS и k8s также доступны для узлов / инстансов EC2 и пространств имен. Каждая панель управления суммирует список выполняемых модулей, задач или контейнеров по нагрузке на процессор и память за выбранный период времени. Вы можете более подробно изучить журналы приложений, трассировки AWS X-Ray и события производительности с учетом контекста по выбранному периоду времени для конкретного модуля, задачи или контейнера.

Мониторинг и аналитика Lambda

Lambda Insights предоставляет автоматические панели управления в консоли CloudWatch. Эти панели отображают производительность и ошибки вычислений. На каждой панели отображается список метрик за выбранный период времени, что позволяет (в зависимости от выбранного интервала и функции) перейти к более подробным журналам приложений, отслеживаниям AWS X‑Ray и событиям производительности.

Обнаружение аномалий

Сервис Amazon CloudWatch Anomaly Detection применяет алгоритмы машинного обучения для непрерывного анализа данных метрики и обнаруживает аномалии. С его помощью можно создавать предупреждения, пороговые значения для которых автоматически изменяются в отношении шаблонов естественных метрик, например сезонных колебаний в зависимости от времени, дня недели или изменения тенденций. Кроме того, можно визуализировать метрики в виде полос обнаружения аномалий. Таким образом вы сможете отслеживать и выявлять неожиданные изменения в метриках и устранять их причины.

ServiceLens

С помощью сервиса Amazon CloudWatch ServiceLens можно из единого центра визуализировать данные о работоспособности, производительности и доступности ваших приложений. Он работает совместно с метриками и журналами CloudWatch, а также с маршрутами из сервиса AWS X-Ray, позволяя вам получать полную картину своих приложений и их зависимостей. Вы можете быстро обнаруживать элементы, ухудшающие производительность, выявлять первопричины проблем, связанных с приложениями, и определять затронутых пользователей. С помощью сервиса CloudWatch ServiceLens можно получить полную картину ваших приложений в трех основных областях: мониторинг инфраструктуры (с использованием метрик и журналов, чтобы понимать, какие ресурсы используются для поддержки ваших приложений), мониторинг транзакций (использование маршрутов для понимания зависимостей между вашими ресурсами) и мониторинг конечных пользователей (использование программ-осведомителей для мониторинга адресов и уведомления вас в случае ухудшения условий работы для конечных пользователей). В сервисе CloudWatch ServiceLens имеется карта сервисов, на которой визуализированы контекстные связи между всеми вашими ресурсами, и интуитивно понятный интерфейс, благодаря чему вы можете еще глубже изучать сопоставленные данные мониторинга.

Synthetics

Сервис Amazon CloudWatch Synthetics упрощает мониторинг адресов приложений. Он круглосуточно и без выходных выполняет тестирование ваших адресов и оповещает вас, если их поведение отличается от ожидаемого. Эти тесты можно настроить для проверки доступности, задержек, транзакций, испорченных или неработоспособных ссылок, пошагового выполнения задач, ошибок загрузки страниц, задержек нагрузки для активов пользовательских интерфейсов, потоков сложных мастеров или потоков проверки в ваших приложениях. Вы также можете использовать сервис CloudWatch Synthetics, чтобы выявлять адреса приложений, для которых получены аварийные сигналы, и сопоставлять их с проблемами базовой инфраструктуры, что позволяет уменьшить MTTR. Благодаря этому новому компоненту сервис CloudWatch теперь собирает трафик программ-осведомителей, которые могут непрерывно проверять условия работы ваших клиентов, даже если их трафик не проходит через ваши приложения. Это позволяет обнаруживать проблемы до того, как их обнаружат ваши клиенты. Сервис CloudWatch Synthetics поддерживает мониторинг ваших REST API, URL-адресов и контента веб-сайтов, проверяет наличие неавторизованных изменений вследствие фишинга, инъекции кода или выполнения межсайтовых сценариев.

RUM

Amazon CloudWatch RUM предоставляет возможность контролировать производительность приложений на стороне клиента и снижает MTTR. Он позволяет собирать данные о производительности интернет-приложений на стороне клиента в режиме, близком к реальному времени, чтобы выявлять и диагностировать проблемы. CloudWatch RUM в сочетании с данными CloudWatch Synthetics предоставляет еще больше информации о взаимодействии с пользователем. Вы можете визуализировать аномальные показатели производительности и применять отладочные данные (сообщения об ошибках, трасссировки стеков, сеансы пользователей и так далее) для устранения проблем с производительностью (вызванных ошибками JavaScript, сбоями или задержками). Вы можете получить ценные сведения о разных аспектах влияния на пользователя, например количество подключенных пользователей, их географическое расположение и используемые браузеры. CloudWatch RUM агрегирует данные о пути пользователя в вашем приложении, которые помогут вам определить приоритеты при выпуске новых возможностей и исправлении ошибок.

Принятие мер

Auto Scaling

Auto Scaling позволяет автоматизировать планирование ресурсов. Можно установить для ключевой метрики пороговое значение, по достижении которого будет отправляться предупреждение и автоматически выполняться действие Auto Scaling. Например, можно настроить рабочий процесс Auto Scaling для добавления или удаления инстансов EC2 на основании метрик загрузки ЦПУ и оптимизировать таким образом затраты на ресурсы.

Автоматизация реагирования на операционные изменения с помощью CloudWatch Events

CloudWatch Events генерирует поток системных событий, описывающих изменение ресурсов AWS, в режиме, близком к реальному времени. Сервис позволяет быстро реагировать на операционные изменения и принимать корректирующие меры. От пользователя требуется только создать правила, прописав в них события, актуальные для приложения, и автоматические действия при наступлении таких событий. Например, можно создать правило для вызова функций AWS Lambda или отправки оповещения в тему Amazon Simple Notification Service (Amazon SNS).

Предупреждения и автоматизация действий для кластеров EKS, ECS и k8s

Для кластеров Amazon EKS и k8s сервис Container Insights позволяет вызывать предупреждения по вычислительным метрикам, чтобы запускать политики автомасштабирования для группы Amazon EC2 Auto Scaling и предоставляет возможность останавливать, перезапускать и восстанавливать любые инстансы Amazon EC2, а также завершать их работу. В случае с кластерами Amazon ECS вы можете использовать вычислительные метрики для автоматического масштабирования с помощью Service Auto Scaling.  

Анализ

Точные данные с длительным сроком хранения

Amazon CloudWatch позволяет до 15 месяцев хранить метрики для отслеживания тенденций и сезонности. Это дает возможность анализировать исторические данные для точной настройки использования ресурсов. Кроме того, CloudWatch позволяет получать метрики работоспособности с детализацией вплоть до одной секунды, включая пользовательские метрики из локальных приложений клиента. Точные данные, поступающие в режиме реального времени, повышают качество визуализации и дают возможность определять и отслеживать тенденции для оптимизации производительности приложений и работоспособности системы.

Специальные операции над метриками

Amazon CloudWatch Metric Math позволяет выполнять расчеты с использованием нескольких метрик в целях анализа в режиме реального времени. Благодаря этому можно без труда получать аналитическую информацию на основании существующих метрик CloudWatch, чтобы лучше понимать состояние и производительность инфраструктуры. Полученные расчетные метрики можно визуализировать в Консоли управления AWS, добавлять их в панели управления CloudWatch или извлекать с помощью действия API GetMetricData. Metric Math поддерживает арифметические операции сложения, вычитания, деления и умножения, а также математические функции суммирования, поиска среднего арифметического, минимума, максимума и среднеквадратического отклонения.

Анализ журналов

Amazon CloudWatch Logs Insights позволяет извлекать полезную информацию из журналов для решения эксплуатационных проблем без необходимости выделения серверов или управления программным обеспечением. Можно немедленно начать написание запросов, содержащих совокупности, фильтры и регулярные выражения. Кроме того, можно визуализировать данные временных рядов, глубоко изучить отдельные события журнала и экспортировать результаты запросов на панели управления CloudWatch. Это предоставляет полный операционный контроль. Несколькими щелчками в Консоли управления AWS можно начать использовать Logs Insights для запросов ко всем журналам, отправляемым в CloudWatch. Вы платите только за выполненные запросы.

Анализ метрик, журналов и отслеживаний контейнеров

Сервис Container Insights упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений (stdout/stderr), пользовательским журналам, предопределенным журналам инстансов Amazon EC2, журналам плоскости данных Amazon EKS/k8s и журналам плоскости управления Amazon EKS c помощью языка расширенных запросов CloudWatch Logs Insights.

Анализ метрик, журналов и отслеживаний Lambda

Сервис Lambda Insights упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений и пользовательским журналам c помощью языка расширенных запросов CloudWatch Logs Insights.

Contributor Insights

Теперь сервис Amazon CloudWatch включает сервис Contributor Insights, который анализирует данные временных рядов и создает представления со сведениями об элементах, которые сильнее всего влияют на производительность системы. После настройки сервиса Contributor Insights он работает непрерывно, не требуя вмешательства пользователя. Благодаря этому разработчики и операторы могут быстрее выявлять, диагностировать и устранять проблемы во время эксплуатационных мероприятий. Сервис Contributor Insights помогает понять, кто или что (например, определенный ресурс, аккаунт клиента или вызов API) оказывает влияние на производительность вашей системы и приложений. Это позволяет обнаруживать выбросы, находить самые проблемные шаблоны трафика и ранжировать наиболее используемые системные процессы. Вы можете создавать правила Contributor Insights, чтобы оценивать шаблоны в структурированных событиях журналов по мере их поступления в сервис CloudWatch Logs, в том числе журналов из сервисов AWS, например сервисов AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC), Amazon API Gateway и любых других пользовательских журналов, отправляемых вашим сервисом или локальными серверами, например журналов доступа Apache. Сервис Contributor Insights оценивает эти события журналов в режиме почти реального времени и отображает отчеты, в которых показаны основные элементы, оказывающие влияние на систему, и количество уникальных элементов в наборе данных. Элемент, оказывающий влияние на систему, – это агрегированная метрика на основе измерений, содержащихся в полях журналов в сервисе CloudWatch Logs, например идентификатор аккаунта или интерфейса в сервисе VPC Flow Logs либо любой другой пользовательский набор измерений. Вы можете сортировать и фильтровать данные этих элементов на основе ваших собственных пользовательских критериев. Данные отчетов Contributor Insights можно отображать на панелях управления CloudWatch, строить на их основе графики рядом с метриками CloudWatch и добавлять их в аварийные сигналы CloudWatch.

Metrics Insights (ознакомительная версия)

Amazon CloudWatch Metrics Insights (ознакомительная версия) представляет собой быстрое и гибкое ядро выполнения запросов SQL, которое позволяет выявлять тенденции и шаблоны в изменениях миллионов операционных метрик в режиме, близком к реальному времени. Metrics Insights предоставляет более подробную информацию о производительности приложений и инфраструктуры в большом масштабе, поддерживая гибкие запросы и интерактивное агрегирование метрик. Запросы Metrics Insights позволяют создать мощные и наглядные визуализации, чтобы выполнять упреждающий мониторинг, быстро обнаруживать проблемы и снижать значение MTTR. 

Evidently

Amazon CloudWatch Evidently позволяет разработчикам приложений проводить эксперименты и выявлять непреднамеренные воздействия новых возможностей, прежде чем развертывать их для открытого использования. Это позволяет снизить риски, связанные с выпуском новых возможностей. Evidently позволяет оценить влияние обновлений на весь стек приложения еще до выпуска, чтобы этот процесс стал более надежным. При выпуске обновлений вы сможете применить их к ограниченному подмножеству пользователей и отслеживать для них ключевые метрики, например время загрузки страниц или показатели конверсии, а затем постепенно увеличивать трафик для обновленной версии. Также Evidently позволяет экспериментировать с дизайном, собирать данные о пользователях и выбирать наиболее эффективные решения. 

Соответствие требованиям и безопасность

Сервис Amazon CloudWatch интегрирован с AWS Identity and Access Management (IAM), что позволяет управлять доступом пользователей и ресурсов к данным, а также определять способ доступа к ним.

Кроме того, Amazon CloudWatch Logs соответствует требованиям PCI и FedRamp. Данные шифруются при хранении и передаче. Можно также шифровать группы журналов с помощью AWS Key Management Service (AWS KMS) для обеспечения дополнительной безопасности и соответствия требованиям.

Подробнее о ценах на Amazon CloudWatch

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon CloudWatch
Есть вопросы?
Свяжитесь с нами