Общие вопросы

Вопрос: Что такое Amazon CloudWatch?

Amazon CloudWatch – это сервис мониторинга облачных ресурсов AWS и приложений, работающих на AWS. Можно использовать Amazon CloudWatch для сбора и отслеживания метрик, накопления и анализа логов, а также для создания предупреждений. Amazon CloudWatch может вести мониторинг ресурсов AWS (таких как инстансы Amazon EC2, таблицы Amazon DynamoDB, инстансы БД Amazon RDS), пользовательских метрик приложений и сервисов, а также мониторинг любых журналов приложений. Amazon CloudWatch можно использовать для получения сводной информации о системе, включая информацию об используемых ресурсах, производительности приложений и общей работоспособности системы. Эти данные применяются для оперативного реагирования и обеспечения стабильной работы приложений.

Для начала мониторинга можно использовать Automatic Dashboards со встроенными рекомендациями AWS, изучить представление метрик и оповещений на основе аккаунта и ресурсов, а также легко провести подробное исследование, чтобы выяснить первопричину проблем с производительностью.

Вопрос: Как получить доступ к сервису CloudWatch?

Сервис Amazon CloudWatch доступен посредством API, интерфейса командной строки, AWS SDK или Консоли управления AWS.

Вопрос: Какие операционные системы поддерживает Amazon CloudWatch?

Сервис Amazon CloudWatch получает и предоставляет метрики для всех инстансов Amazon EC2 и совместим со всеми операционными системами, которые на данный момент поддерживает сервис Amazon EC2.

Вопрос: Какие политики управления доступом можно использовать в CloudWatch?

Благодаря интеграции Amazon CloudWatch с сервисом AWS Identity and Access Management (IAM) можно указывать, какие действия CloudWatch пользователь может выполнять в рамках аккаунта AWS. Например, можно создать политику IAM, которая позволит только определенным пользователям организации использовать API GetMetricStatistics. Тогда они смогут выполнять действие для извлечения данных по облачным ресурсам.

IAM невозможно использовать для управления доступом к данным CloudWatch отдельных ресурсов. Например, нельзя предоставить пользовательский доступ к данным CloudWatch только для определенного набора инстансов или определенного балансировщика нагрузки. Полномочия, предоставленные с помощью IAM, распространяются на все облачные ресурсы, работающие с CloudWatch. Кроме того, невозможно использовать роли IAM с инструментами командной строки Amazon CloudWatch.

Вопрос: Что такое Amazon CloudWatch Logs?

Amazon CloudWatch Logs позволяет следить за работой систем и приложений и решать возникающие в них проблемы, используя существующие файлы журналов соответствующих систем и приложений, а также пользовательские файлы журналов.

С помощью CloudWatch Logs можно проверять свои журналы на наличие определенных фраз, значений или шаблонов в режиме, близком к реальному времени. Например, можно настроить выдачу предупреждений о количестве ошибок, зарегистрированных в системных журналах, или отображение графиков задержки веб‑запросов, зарегистрированных в журналах приложений. Затем можно просмотреть данные исходного журнала, чтобы определить источник проблемы. Данные журналов можно хранить неограниченное время, используя для этого надежное и недорогое хранилище, чтобы не занимать место на жестком диске. При этом они остаются полностью доступны.

Вопрос: Для чего можно использовать CloudWatch Logs?

CloudWatch Logs позволяет отслеживать и сохранять журналы для анализа работы систем и приложений, а также для управления ими. Использовать CloudWatch Logs можно разными способами.

Мониторинг приложений и систем в режиме реального времени. CloudWatch Logs можно использовать для мониторинга приложений и систем с помощью журналов. Например, CloudWatch Logs может отслеживать количество ошибок в журналах приложений и отправлять оповещения, когда оно превышает заданное пороговое значение. Поскольку при работе с CloudWatch Logs для мониторинга используются данные существующих журналов, никаких изменений в код вносить не требуется.

Долгосрочное хранение журналов. CloudWatch Logs позволяет хранить данные журналов бессрочно, используя для этого недорогое хранилище с высокой степенью надежности, что устраняет проблему нехватки места на жестком диске. Агент CloudWatch Logs позволяет быстро и просто переместить ротируемые и неротируемые файлы журнала с хоста в сервис журналов. Затем при необходимости можно получить доступ к необработанным данным событий журналов.

Вопрос: Какие платформы поддерживает агент CloudWatch Logs?

Агент CloudWatch Logs поддерживает Amazon Linux, Ubuntu, CentOS, Red Hat Enterprise Linux и Windows. Агент предоставляет возможность отслеживания отдельных файлов журналов на хостах.

Вопрос: Предусмотрена ли в агенте CloudWatch Logs поддержка ролей IAM?

Да. Агент CloudWatch Logs интегрирован с сервисом Identity and Access Management (IAM) и поддерживает как ключи доступа, так и роли IAM.

Вопрос. Что такое Amazon CloudWatch Logs Insights?

Amazon CloudWatch Logs Insights – это интерактивный сервис для анализа журналов для CloudWatch Logs с оплатой по факту использования. Он помогает разработчикам, операторам и системным инженерам понимать, улучшать и отлаживать свои приложения, позволяя искать и визуализировать свои журналы. Logs Insights полностью интегрирован в CloudWatch, что позволяет управлять журналами, изучать их и анализировать. Вы можете также использовать метрики, оповещения и панели управления с журналами CloudWatch, чтобы полностью видеть операционные данные приложений. Это дает возможность оперативно разобраться в приложениях, внести улучшения, найти и устранить проблемы, продолжив быстро внедрять инновации. Можно записывать вопросы с совокупностями, фильтрами и регулярными выражениями, чтобы получить из журналов сведения, на основе которых можно предпринимать дальнейшие действия. Можно также визуализировать данные временных рядов, глубоко изучить отдельные события журнала и экспортировать результаты запросов на панели управления CloudWatch.

Вопрос. Как начать работу с CloudWatch Logs Insights?

Можно мгновенно начать использовать Logs Insights для выполнения запросов по всем журналам, отправляемым в CloudWatch Logs. Управление инфраструктурой и настройка не требуются. Доступ к Logs Insights можно получить из консоли управления AWS или программно через приложения с помощью AWS SDK.

Цены

Вопрос: Сколько стоит использование сервиса Amazon CloudWatch?

См. действующие тарифы на странице цен.

Вопрос: Зависит ли стоимость мониторинга Amazon CloudWatch от типа инстанса Amazon EC2, выбранного для отслеживания?

Нет. Плата за мониторинг Amazon CloudWatch не зависит от типа инстанса Amazon EC2.

Вопрос. Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Подробнее.

Вопрос: Почему счет AWS за использование сервиса CloudWatch за июль 2017 года отличается от счетов за прошлые месяцы?

До июля 2017 года начисления за использование сервиса CloudWatch разбивались на две части как в счетах AWS, так и в отчетах об использовании. Исторически сложилось так, что начисления за использование предупреждений, метрик и API сервиса CloudWatch приводились в счетах в разделе сведений об использовании Elastic Compute Cloud (EC2), а начисления за использование CloudWatch Logs и панелей управления CloudWatch приводились в разделе сведений об использовании CloudWatch. Чтобы объединить сведения и упростить для пользователей оценку ежемесячного использования AWS CloudWatch и связанных расходов, мы переместили данные об использовании метрик, предупреждений и API сервиса CloudWatch из раздела «EC2» в раздел «CloudWatch». Таким образом, все расходы на мониторинг с использованием CloudWatch теперь логично собраны в разделе «CloudWatch». Обратите внимание: это никак не отражается на общей сумме счета AWS. Просто теперь в счетах и отчетах об использовании все расходы на CloudWatch отражаются в одном разделе.

Дополнительно в CloudWatch можно воспользоваться метрикой Estimated Charges, позволяющей просматривать как совокупные расходы (Total Estimated Charge), так и расходы по отдельным сервисам (By Service). Значение метрики «Total Estimated Charge» не изменится. Однако при использовании метрики Estimated Charges с разбивкой по отдельным сервисам изменятся значения для параметра ServiceName, равного «AmazonEC2» или «AmazonCloudWatch». В связи с изменением в компоновке счета будет заметно, что метрики расходов на Amazon EC2 стали ниже, а метрики расходов на Amazon CloudWatch возросли за счет того, что в эту группу перемещена часть расходов из EC2.

Вопрос. Какие цены на CloudWatch Logs Insights?

Плата за сервис Logs Insights взимается за каждый запрос и зависит от объема данных, обработанных при этом запросе. Для получения дополнительных сведений см. раздел Цены на CloudWatch.

Вопрос. Будет ли CloudWatch Logs Insights взимать с меня плату за отмененные запросы?

Да, если вы отмените запрос вручную, будет удержана плата за количество данных журнала, обработанных сервисом до момента отмены запроса.

Вопрос. Будет ли CloudWatch Logs Insights взимать с меня плату за неудачные запросы?

Нет, плата за неудачные запросы не взимается.

Мониторинг ресурсов AWS и пользовательских метрик

Вопрос: Какие параметры можно отслеживать с помощью метрик Amazon CloudWatch?

Amazon CloudWatch позволяет осуществлять мониторинг облачных ресурсов AWS и приложений, работающих на AWS. Сервис автоматически предоставляет метрики для различных продуктов и сервисов AWS, в том числе для инстансов Amazon EC2, томов EBS, балансировщиков нагрузки Elastic Load Balancer, групп Auto Scaling, схем обработки заданий EMR, инстансов БД RDS, таблиц DynamoDB, кластеров ElastiCache, кластеров RedShift, стеков OpsWorks, проверок работоспособности Route 53, тем SNS, очередей SQS, рабочих процессов SWF и шлюзов Storage Gateway. Кроме того, сервис позволяет осуществлять мониторинг метрик, сформированных приложениями и сервисами пользователя.

Вопрос: Каков срок хранения метрик?

26 июля 2017 г. были запущены высокочастотные пользовательские метрики CloudWatch. Теперь можно публиковать и сохранять метрики с частотой до 1 секунды. 1 ноября 2016 года был введен расширенный срок хранения метрик. Эта возможность позволяет увеличить срок хранения любых метрик с 14 дней до 15 месяцев. Сервис CloudWatch хранит данные метрик следующим образом.

  • Точки данных с интервалом менее 60 секунд доступны в течение 3 часов. Эти точки данных относятся к высокочастотным пользовательским метрикам.
  • Точки данных с интервалом 60 секунд (1 минута) доступны в течение 15 дней.
  • Точки данных с интервалом 300 секунд (5 минут) доступны в течение 63 дней. 
  • Точки данных с интервалом 3600 секунд (1 час) доступны в течение 455 дней (15 месяцев).

Точки данных, которые изначально были опубликованы с более коротким интервалом, обобщаются для длительного хранения. Например, если данные фиксируются с интервалом в 1 минуту, они будут храниться с исходным интервалом в течение 15 дней. Через 15 дней они по‑прежнему будут доступны, но в обобщенном виде с интервалом в 5 минут. Через 63 дня данные пройдут дальнейшее обобщение и будут доступны с интервалом в 1 час. Если требуется обеспечить доступность метрик в течение более продолжительного времени, можно использовать API GetMetricStatistics для извлечения точек данных и сохранения их в автономном режиме или в хранилищах других типов.

В настоящее время данная возможность доступна в следующих регионах AWS: Восток США (Сев. Вирджиния), Запад США (Орегон), Запад США (Сев. Калифорния), ЕС (Ирландия), ЕС (Франкфурт), Южная Америка (Сан‑Паулу), Азия и Тихий океан (Сингапур), Азия и Тихий океан (Токио), Азия и Тихий океан (Сеул), Азия и Тихий океан (Мумбаи), Азия и Тихий океан (Сидней), ЕС (Лондон), Канада (Центр), Восток США (Огайо) и Китай (Пекин).

Вопрос: С каким минимальным интервалом Amazon CloudWatch может собирать и хранить данные?

Минимальный интервал для точек данных, поддерживаемый сервисом CloudWatch, составляет 1 секунду. Такие метрики считаются высокочастотными. Можно также сохранять метрики с интервалом в 1 минуту. Иногда данные метрик поступают в CloudWatch через разные интервалы времени, например через 3 или 5 минут. Если метрика не помечена как высокочастотная (для этого необходимо передать соответствующее значение в поле StorageResolution запроса API PutMetricData), по умолчанию CloudWatch будет собирать и сохранять метрики с интервалом в 1 минуту.

В зависимости от периода хранения запрашиваемых данных метрика будет доступна с интервалом, указанным в вышеописанных схемах хранения. Например, если запросить ежеминутные данные за сутки, истекшие 10 дней тому назад, на выходе будет получено 1440 точек данных. Однако если запросить ежеминутные данные за 5 последних месяцев, степень их детализации уже будет автоматически изменена на ежечасную, и API GetMetricStatistics не выдаст никакого ответа.

Вопрос: Можно ли удалять метрики?

CloudWatch не поддерживает удаление метрик. Срок действия метрик истекает на основании вышеописанных схем хранения.

Вопрос: Если отключить мониторинг инстанса Amazon EC2, данные метрик будут утеряны?

Нет. Данные метрик можно всегда извлечь для любого инстанса Amazon EC2 на основании вышеописанных схем хранения. При этом консоль CloudWatch не выводит в результатах поиска метрики, давность последнего импорта которых превышает 2 недели, чтобы в пространстве имен отображались наиболее актуальные инстансы.

Вопрос: Можно ли получить метрики прекратившего работу инстанса Amazon EC2 или удаленного балансировщика Elastic Load Balancer?

Да. Amazon CloudWatch сохраняет метрики прекративших работу инстансов Amazon EC2 и удаленных балансировщиков Elastic Load Balancer в течение 15 месяцев.

Вопрос: Почему график метрик на одном и том же отрезке времени для интервалов 5 минут и 1 минута выглядит по‑разному?

На одном и том же отрезке времени точки данных на графике могут отображаться в разных местах в зависимости от того, какой период времени выбран – 5 минут или 1 минута. Для периода времени, выбранного на графике, Amazon CloudWatch находит все доступные точки данных и вычисляет единую, совокупную точку, представляющую период в целом. В случае периода продолжительностью 5 минут единая точка данных располагается в начале каждого пятиминутного отрезка. В случае периода продолжительностью 1 минуту единая точка данных располагается на минутной отметке. Мы рекомендуем использовать период времени продолжительностью 1 минуту для устранения неисправностей и выполнения других действий, требующих максимально точного графического представления периодов времени.

Вопрос: Что такое пользовательские метрики?

Amazon CloudWatch можно использовать для мониторинга данных, сформированных приложениями, скриптами и сервисами пользователя. Пользовательская метрика – это любая метрика, загруженная пользователем в Amazon CloudWatch. Например, пользовательские метрики можно использовать для мониторинга времени загрузки веб‑страницы, количества ошибок при выполнении запросов, количества процессов или потоков на инстансе или объемов работ, выполненных приложением. Чтобы начать работу с пользовательскими метриками, воспользуйтесь API PutMetricData, образцами скриптов мониторинга для Windows и Linux, подключаемым модулем CloudWatch collectd или одним из множества приложений и инструментов, предлагаемых партнерами AWS.

Вопрос: Какой интервал можно использовать в пользовательских метриках?

Для пользовательских метрик можно использовать следующие варианты частоты.

  • Стандартная частота – данные сохраняются с интервалом в 1 минуту.
  • Высокая частота – данные сохраняются с интервалом в 1 секунду.

По умолчанию метрики в CloudWatch сохраняются с интервалом в 1 минуту. Чтобы указать, что метрика является высокочастотной, в запросе API PutMetricData необходимо задать значение параметра StorageResolution, равное 1. Если не указать этот необязательный параметр, сервис будет использовать интервал по умолчанию, равный 1 минуте.

При публикации высокочастотных метрик CloudWatch сохраняет их с интервалом в 1 секунду, а считывать и извлекать их можно за период 1, 5, 10, 30 секунд или за любой период, длина которого кратна 60 секундам.

Пользовательские метрики хранятся в соответствии с описанными выше схемами.

Вопрос: Какие метрики могут быть высокочастотными?

В настоящий момент высокочастотными могут быть только пользовательские метрики, публикуемые в CloudWatch. Высокочастотные метрики сохраняются в CloudWatch с интервалом в 1 секунду. Чтобы указать, что метрика является высокочастотной, в запросе API PutMetricData необходимо задать значение параметра StorageResolution, равное 1. Если не указать этот необязательный параметр, CloudWatch будет использовать интервал по умолчанию, равный 1 минуте.

Вопрос: Отличается ли стоимость использования высокочастотных пользовательских метрик от стоимости обычных пользовательских метрик?

Нет, стоимость использования высокочастотных метрик такая же, как и стоимость стандартных пользовательских метрик с интервалом в 1 минуту.

Вопрос: Когда стоит использовать пользовательские метрики, а когда – журналы, отправляемые программой в CloudWatch Logs?

Мониторинг пользовательских данных можно осуществлять с помощью пользовательских метрик и (или) сервиса CloudWatch Logs. Пользовательские метрики лучше использовать, если данные предоставлены в формате, отличном от формата журнала, например для процессов операционных систем или результатов измерения производительности. Кроме того, пользователи могут написать собственные приложения и скрипты или воспользоваться решениями, предоставленными партнерами AWS. Если требуется сохранять и хранить отдельные измерения в совокупности с дополнительными сведениями, можно воспользоваться сервисом CloudWatch Logs.

Вопрос: Какую статистику можно просматривать и графически отображать в CloudWatch?

Для извлечения, графического отображения, а также настройки предупреждений доступны следующие статистические значения метрик Amazon CloudWatch: среднее значение, сумма, минимум, максимум и подсчет образцов. Статистику можно вычислить для любого интервала времени от 60 секунд до 1 дня. Для высокочастотных пользовательских метрик можно получать статистику за периоды продолжительностью от 1 секунды до 3 часов.

Мониторинг журналов

Вопрос: Как сервис Amazon CloudWatch осуществляет мониторинг журналов?

CloudWatch Logs позволяет следить за работой систем и приложений и решать возникающие в них проблемы, используя существующие файлы журналов соответствующих систем и приложений, а также пользовательские файлы журналов.

С помощью CloudWatch Logs можно проверять свои журналы на наличие определенных фраз, значений или шаблонов в режиме, близком к реальному времени. Например, можно настроить выдачу предупреждений о количестве ошибок, зарегистрированных в системных журналах, или отображение графиков задержки веб‑запросов, зарегистрированных в журналах приложений. Затем можно просмотреть данные исходного журнала, чтобы определить источник проблемы. Данные журналов можно хранить, сколько потребуется, используя для этого надежное и недорогое хранилище, чтобы не занимать место на жестком диске. При этом они остаются полностью доступны.

Вопрос: Что такое предоставленные журналы Amazon CloudWatch?

Предоставленные журналы Amazon CloudWatch – это журналы, которые по умолчанию публикуются сервисами AWS от имени клиента. VPC Flow Logs – первый тип предоставленного журнала, основанный на такой многоуровневой модели. В будущем планируется дополнить предоставленные журналы другими типами журналов различных сервисов AWS.

Вопрос: Во всех ли регионах доступны журналы CloudWatch Logs?

Подробнее о доступности сервиса CloudWatch Logs по регионам см. на странице Продукты и сервисы по регионам.

Вопрос: Какова стоимость использования CloudWatch Logs?

См. действующие тарифы на странице цен.

Вопрос: Какие возможности дает использование журналов и сервиса Amazon CloudWatch?

CloudWatch Logs позволяет отслеживать и сохранять журналы для анализа работы систем и приложений, а также для управления ими. При использовании CloudWatch Logs с журналами мониторинг ведется на основании данных существующих журналов, поэтому код изменять не требуется. Далее приведены два примера, иллюстрирующие возможности Amazon CloudWatch.

Мониторинг приложений и систем в режиме реального времени. CloudWatch Logs можно использовать для мониторинга приложений и систем с помощью журналов в режиме, близком к реальному времени. Например, CloudWatch Logs может отслеживать количество ошибок в журналах приложений и отправлять оповещения, когда оно превышает заданное пороговое значение. Amazon CloudWatch использует для мониторинга данные существующих журналов, поэтому никаких изменений в код вносить не требуется.

Долгосрочное хранение журналов. CloudWatch Logs позволяет хранить данные журналов столько, сколько потребуется, используя для этого высоконадежное и недорогое хранилище, что устраняет проблему нехватки места на жестком диске. Агент CloudWatch Logs позволяет быстро и просто переместить ротируемые и неротируемые файлы журнала с хоста в сервис журналов. Затем при необходимости можно получить доступ к необработанным данным событий журналов.

Вопрос: Какие типы данных можно отправлять в Amazon CloudWatch Logs с инстансов EC2, на которых работает Microsoft SQL Server и Microsoft Windows Server?

Сервис EC2Config можно настроить на отправку различных данных и файлов журналов в CloudWatch, в том числе пользовательских текстовых журналов, журналов событий (приложений, безопасности, пользовательских, системных), журналов трассировки событий (ETW) и данных счетчиков производительности (PCW). Подробнее о сервисе EC2Config см. по ссылке.

Вопрос: С какой частотой агент CloudWatch Logs осуществляет отправку данных?

По умолчанию агент CloudWatch Logs отправляет данные журналов каждые 5 секунд. Пользователь может задать другой промежуток времени.

Вопрос: Какие форматы журналов поддерживает CloudWatch Logs?

CloudWatch Logs может импортировать, агрегировать и отслеживать данные журналов в любых стандартных текстовых форматах или в формате JSON.

Вопрос: Что произойдет, если настроить агент CloudWatch Logs для отправки данных журналов не в текстовом формате?

Агент CloudWatch Logs вернет ошибку, если событие будет настроено на отправку данных журналов не в текстовом формате. Эта ошибка будет записана в журнал /var/logs/awslogs.log.

Вопрос: Как начать отслеживание журналов с помощью CloudWatch Logs?

События журналов можно отслеживать по мере их отправки в CloudWatch Logs с помощью фильтров метрик. Фильтры метрик преобразуют данные журналов в метрики Amazon CloudWatch для отправки предупреждений и построения графиков. Фильтры метрик можно создать с помощью консоли или интерфейса командной строки. Фильтры метрик осуществляют поиск и подстановку ключевых слов, фраз или значений в событиях журналов. Когда фильтр метрик находит термин, фразу или значение в событиях журналов, он учитывает это в выбранной метрике Amazon CloudWatch. Например, можно создать фильтр метрики для поиска и подсчета количества слов «Error» (Ошибка) в событиях журналов. Фильтры метрик также могут извлекать значения из событий журналов с разделителями‑пробелами, например задержки веб‑запросов. Можно использовать условные операторы и шаблоны подстановки для создания точных совпадений. Консоль Amazon CloudWatch позволяет протестировать пользовательские схемы перед созданием фильтров метрик.

Вопрос: Как выглядит синтаксис шаблона для фильтра метрики?

Шаблон фильтра метрик может содержать ключевые слова для поиска или спецификацию общего журнала или формата события JSON.

Например, если нужно найти ключевое слово «Error» (Ошибка), шаблон фильтра метрик будет состоять из одного слова – Error. Для поиска нескольких слов можно использовать несколько ключевых слов. Например, если нужно подсчитать события, в которых содержатся ключевые слова «Error» (Ошибка) и «Exception» (Исключение), используйте шаблон Error Exception. Если нужно найти точное совпадение для ключевых слов «Error Exception», поместите их в кавычки – "Error Exception". Можно задавать любое количество ключевых слов для поиска.

CloudWatch Logs также можно использовать для извлечения значений из событий журналов в общем журнальном формате или формате JSON. Например, можно отслеживать объемы информации, передаваемые из журналов доступа Apache. Можно также использовать условные операторы и шаблоны подстановки для поиска совпадений и извлечения необходимых данных. Чтобы использовать функцию извлечения фильтров метрик, события журналов должны быть разделены пробелами, а для разграничения полей должны использоваться двойные прямые кавычки «"» или открывающая квадратная скобка «[» и закрывающая квадратная скобка «]». Другой вариант – использовать события журналов в формате JSON. Дополнительные сведения о синтаксисе и примеры см. в Руководстве для разработчиков фильтров метрик.

Вопрос: Как убедиться, что заданный для фильтра метрики шаблон соответствует событиям журнала?

CloudWatch Logs позволяет протестировать шаблоны фильтров метрик перед их созданием. Шаблоны можно протестировать на данных журналов, уже находящихся в CloudWatch Logs, или же загрузить собственные события журналов для тестирования. Тестирование покажет совпадения событий журналов с шаблоном фильтра метрики и извлеченное значение данных тестирования (если применимо). Тестирование фильтров метрик можно запустить из консоли или интерфейса командной строки.

Вопрос: Можно ли при работе с данными журналов использовать регулярные выражения?

Фильтры метрик Amazon CloudWatch не поддерживают регулярные выражения. Для обработки данных журналов с использованием регулярных выражений можно воспользоваться Amazon Kinesis и подключить поток с механизмом обработки регулярных выражений.

Управление журналами

Вопрос: Как извлечь данные журнала?

Данные журнала можно извлечь с помощью консоли CloudWatch Logs или интерфейса командной строки CloudWatch Logs. События журналов извлекаются на основании группы журналов, потока журналов и времени, с которыми они связаны. Для извлечения событий журнала используется API GetLogEvents.

Вопрос: Как выполняется поиск по журналам?

Для извлечения событий журнала и выполнения поиска по ним с помощью команды grep или аналогичных поисковых функций можно использовать интерфейс командной строки.

Вопрос: Сколько времени CloudWatch Logs хранит данные журналов?

Данные журналов в сервисе CloudWatch Logs можно хранить столько, сколько это необходимо. По умолчанию срок хранения данных журналов в CloudWatch Logs не ограничен. Срок хранения можно задать для любой группы журналов в любой момент времени.

Анализ журналов

Вопрос. Какие разрешения требуются для доступа к Logs Insights?

Для доступа к Logs Insights ваша политика IAM должна включать разрешения для logs:DescribeLogGroups и logs:FilterLogEvents.

Вопрос. К каким журналам можно отправлять запросы с помощью CloudWatch Logs Insights?

Logs Insights можно использовать для запросов ко всем журналам, отправляемым в CloudWatch. Logs Insights автоматически обнаруживает поля журналов от таких сервисов AWS, как Lambda, CloudTrail, Route53 и VPC Flow Logs, а также от любого журнала приложения, генерирующего события журналов в формате JSON. Кроме того, он генерирует 3 системных поля – @message, @logStream и @timestamp – для всех типов журналов, отправляемых в CloudWatch. @message содержит необработанное и непроанализированное событие журнала, @logStream содержит имя источника, который сгенерировал событие журнала, а @timestamp содержит время добавления события журнала в CloudWatch.

Вопрос. Какой язык запросов поддерживается в CloudWatch Logs Insights?

Logs Insights вводит новый специальный язык запросов для обработки журналов. Язык запросов поддерживает очень простые, но мощные команды запросов. Можно записывать команды для получения одного или большего количества полей журналов, поиска событий журналов по одному или большему числу критериев, объединения данных журнала и извлечения эфемерных полей из текстовых журналов. Язык запросов легко изучить, и Logs Insights содержит справку в виде образцов запросов, описания команд и автозаполнения запросов. Это поможет быстрее приступить к работе. Дополнительные сведения о языке запросов см. здесь.

Вопрос. Каковы ограничения в работе сервисов для CloudWatch Logs Insights?

Ограничения в работе сервисов приведены здесь. Вопрос. Каковы ограничения в работе сервисов для CloudWatch Logs Insights?

Ограничения в работе сервисов приведены здесь.

 

Вопрос. В каких регионах есть доступ к CloudWatch Logs Insights?

Доступ к Logs Insights предоставляется в следующих регионах: Запад США (Орегон), Запад США (Северная Калифорния), Восток США (Огайо), Восток США (Северная Вирджиния), Азия и Тихий океан (Мумбаи), Азия и Тихий океан (Сеул), Азия и Тихий океан (Сингапур), Азия и Тихий океан (Сидней), Азия и Тихий океан (Токио), Канада (центр), ЕС (Франкфурт), ЕС (Ирландия), ЕС (Лондон), ЕС (Париж), Южная Америка.

Вопрос. Какого рода запросы поддерживает CloudWatch Logs Insights?

Можно писать запросы, содержащие совокупности, фильтры, регулярные выражения и текст. Вы можете также извлекать данные из событий журналов, чтобы создавать эфемерные поля, которые можно в дальнейшем обработать с помощью языка запроса, что поможет получить доступ к нужной информации. Язык запросов поддерживает текстовые строки, числа и математические функции, например concat, strlen, trim, log и sqrt и др. Вы можете также использовать булевы и логические выражения и агрегирующие функции, например min, max, sum, average, percentile и др. Дополнительные сведения о языке запросов и поддерживаемых функциях см. здесь.

Вопрос. Какие команды и функции запроса можно использовать с CloudWatch Logs Insights?

Список команд запроса см. здесь. Список поддерживаемых функций см. здесь.

Вопрос. Какие визуализации данных можно использовать вместе с CloudWatch Logs Insights?

Визуализации можно использовать для определения трендов и закономерностей, возникающих в журналах с течением времени. Logs Insights поддерживает визуализацию данных с использованием линейных графиков и диаграмм с областями и накоплением. Визуализации генерируются для всех запросов, содержащих одну или более функций объединения, в которых данные группируются за временной интервал, указанный с помощью функции bin(). Дополнительные сведения о визуализации данных временных рядов см. здесь.

Вопрос. Можно ли при работе с CloudWatch Logs Insights использовать регулярные выражения?

Вместе с Logs Insights можно использовать регулярные выражения в стиле Java. Регулярные выражения можно использовать в команде фильтра. Примеры запросов с регулярными выражениями см. в справке продукта и здесь.

Вопрос. Как изолировать специальные символы в запросах CloudWatch Logs Insights?

Чтобы изолировать специальные символы, можно использовать обратные галочки. Имена полей журналов, содержащие символы, отличные от буквенно-цифровых, «@» и «.», необходимо изолировать с помощью обратных галочек.

Вопрос. Почему в одних полях журналов есть символ «@», а в других нет?

Системные поля, сгенерированные с помощью Logs Insights, начинаются с символа «@». В настоящее время Logs Insights генерирует 3 системных поля: @message – содержит необработанное и непроанализированное событие журнала, отправленное в CloudWatch, @logStream – содержит имя источника, который сгенерировал событие журнала, и @timestamp – содержит время добавления события журнала в CloudWatch.

Вопрос. Можно ли отправлять запросы к архивным журналам с помощью CloudWatch Logs Insights?

Logs Insights дает возможность отправлять запрос на данные журнала, добавленные в CloudWatch Logs 5 ноября 2018 года или позже.

Вопрос. Можно ли отправлять запросы к множественным группам журналов с помощью CloudWatch Logs Insights?

В настоящее время запросы Logs Insights поддерживают одну группу журналов на один запрос.

Вопрос. Можно ли искать события журнала из потока определенного журнала?

События журнала из потока определенного журнала можно искать, добавив фильтр с командой запроса
@logStream = "log_stream_name" в запрос журнала.

Вопрос. Сегодня я могу с помощью решения AWS Partner ISV анализировать свои журналы из CloudWatch. Какой мне смысл переходить на CloudWatch Logs Insights?

CloudWatch Logs уже поддерживает варианты интеграции с другими сервисами AWS, в частности Amazon Kinesis, Amazon Kinesis Data Firehose, Amazon Elasticsearch и такими решениями AWS Partner ISV, как Splunk, Sumo Logic, DataDog и многие другие, предоставляя богатый выбор и гибкие возможности для всех сред. Вы сможете настраивать обработку журналов, получать дополнительную информацию, выполнять аналитику и визуализацию. Кроме того, возможности запросов CloudWatch Logs Insights доступны для программного доступа через AWS SDK, упрощая партнерам AWS ISV углубление интеграции, расширенную аналитику и повышение ценности CloudWatch Logs Insights.

 

Вопрос. Какую пользу принесет мне доступ к возможностям отправки запросов CloudWatch Logs Insights с помощью решения AWS ISV Partner?

Интеграция ISV Partner c CloudWatch Logs Insights дает возможность централизованно разместить данные журнала и анализировать их с помощью инструментов и платформ по собственному выбору. Такие действия будут выполняться с высокой производительностью и экономически эффективно. Перемещать большие объемы данных не придется. Кроме того, вы будете быстрее получать доступ к своим журналам, поскольку устранятся задержки, связанные с переносом данных, и сложности настройки и поддержания определенных переносов данных.

 

Предупреждения

Вопрос: Какие типы предупреждений CloudWatch можно создавать?

Можно создать предупреждение для мониторинга любых метрик Amazon CloudWatch в своей учетной записи. Например, можно создать предупреждение о нагрузке на ЦП инстанса Amazon EC2, задержке запросов Amazon ELB, пропускной способности таблиц Amazon DynamoDB, длине очередей Amazon SQS или даже расходах по счету AWS.

Для пользовательских метрик можно создавать предупреждения с учетом особенностей приложений или инфраструктуры. Для высокочастотных пользовательских метрик можно создавать предупреждения, которые будут отправляться с интервалом в 10 или 30 секунд.

Подробнее см. на странице цен на CloudWatch.

Вопрос: Какие действия можно выполнять на основании предупреждений CloudWatch?

При создании предупреждения его можно настроить таким образом, чтобы оно выполняло одно или несколько автоматизированных действий, когда отслеживаемая метрика превысит заданное пороговое значение. Например, можно задать предупреждение, которое отправляет электронное письмо, делает публикацию в очередь SQS, останавливает или прекращает работу инстанса Amazon EC2 или запускает политику Auto Scaling. Так как предупреждения Amazon CloudWatch интегрированы с Amazon Simple Notification Service, можно использовать любой тип уведомлений из поддерживаемых сервисом SNS.

Вопрос: Какие пороговые значения можно задавать для запуска предупреждений CloudWatch?

При создании предупреждения сначала нужно выбрать отслеживаемую метрику Amazon CloudWatch. Затем нужно выбрать период оценки (например, 5 минут или 1 час) и измеряемое статистическое значение (например, среднее или максимальное). Чтобы установить порог, задайте целевое значение и укажите, в каком случае должно срабатывать предупреждение: когда значение больше (>), больше или равно (>=), меньше (<) или меньше или равно (<=) целевому значению.

Вопрос: В чем может быть причина постоянного пребывания предупреждения CloudWatch в состоянии ALARM?

Предупреждения продолжают сравнивать метрики с выбранным пороговым значением даже после срабатывания. Благодаря этому можно видеть их текущее состояние в любой момент времени. Иногда некоторые предупреждения могут пребывать в состоянии ALARM продолжительное время. Если значение метрики превышает заданный порог, предупреждение будет находиться в состоянии ALARM до тех пор, пока значение не опустится ниже порогового. Это нормальное поведение. Если нужно, чтобы предупреждения воспринимали этот новый уровень как корректный, задайте соответствующее пороговое значение для предупреждения.

Вопрос: В течение какого времени доступна для просмотра история предупреждений?

История предупреждений хранится в течение 14 дней. Чтобы просмотреть историю предупреждений, войдите в CloudWatch в Консоли управления AWS, выберите в меню слева пункт «Alarms» (Предупреждения), выберите предупреждение и нажмите вкладку «History» (История) на панели снизу. На ней находится история всех изменений состояния и конфигурации предупреждения.

Панели управления

Вопрос: Что такое панели управления CloudWatch?

Панели управления Amazon CloudWatch позволяют создавать, настраивать и сохранять диаграммы ресурсов AWS и пользовательские метрики, а также осуществлять взаимодействие с ними.

Вопрос: Что можно делать с помощью панелей управления CloudWatch?

Панели управления CloudWatch можно использовать для мониторинга приложений и ресурсов, чтобы быстро выявлять проблемы, которые могут оказать влияние на работоспособность приложений. Можно сохранять и повторно открывать панели управления, добавлять на них диаграммы или текстовые виджеты для вставки ссылок и комментариев. Например, можно разместить на панели управления диаграммы ресурсов и метрики приложений, чтобы увидеть, когда проблемы с работоспособностью ресурсов начнут оказывать влияние на приложения. Кроме того, можно просматривать метрики нескольких регионов на одной странице.

Вопрос: Как начать работу с панелями управления CloudWatch?

Чтобы начать работу, откройте консоль Amazon CloudWatch и выберите «Dashboards» (Панели управления). Нажмите кнопку Create Dashboard (Создать панель управления). Желаемое представление можно копировать из Automatic Dashboards. Для этого следует выбрать Options -> Add to Dashboard («Параметры» -> «Добавить на панель управления»).

Вопрос. Каковы преимущества Automatic Dashboards?

Automatic Dashboards – это предварительно встроенные в сервис AWS рекомендации, которые учитывают остающиеся ресурсы и динамически обновляют их для отображения самого последнего состояния важных метрик производительности. Теперь можно фильтровать и устранять проблемы в специальном представлении без добавления кода для отражения самого последнего состояния ресурсов AWS. После выявления первопричины проблем с производительностью можно оперативно приступать к действиям, перейдя непосредственно к ресурсу AWS.

Вопрос: Поддерживают ли панели управления автоматическое обновление данных?

Да. Данные на панелях управления будут автоматически обновляться, пока панели открыты.

Вопрос: Можно ли предоставлять общий доступ к панелям управления?

Да, панель управления доступна любому пользователю, у которого есть все необходимые разрешения для доступа к аккаунту, содержащему эту панель управления.

События

Вопрос: Что такое CloudWatch Events?

Amazon CloudWatch Events (CWE) – это поток системных событий, описывающих изменения в ресурсах AWS. Поток событий дополняет существующие потоки метрик и журналов CloudWatch и дает более полное представление о работоспособности и состоянии приложений. Пользователь пишет декларативные правила, связывая нужные события с автоматическими действиями, которые следует выполнить.

Вопрос: Какие сервисы отправляют события в CloudWatch Events?

В настоящее время поддерживаются события сервисов Amazon EC2, Auto Scaling и AWS CloudTrail. С помощью сервиса AWS CloudTrail модифицирующие вызовы API (то есть все вызовы, кроме Describe*, List* и Get*) отображаются в потоке CloudWatch Events.

Вопрос: Какие действия возможны при получении события?

Если событие соответствует условиям правила, созданного в системе, можно автоматически вызвать функцию AWS Lambda, переправить событие в поток Amazon Kinesis, отправить оповещение в тему Amazon SNS или запустить встроенный рабочий процесс.

Вопрос: Можно ли генерировать собственные события?

Да. С помощью API PutEvents приложение может отправлять собственные события с полезными данными, которые соответствуют вашим потребностям.

Вопрос: Можно ли настроить фиксированный график событий?

Сервис CloudWatch Events способен генерировать события по графику, установленному с помощью стандартного синтаксиса планировщика cron для Unix. Осуществляя мониторинг этих событий, можно выполнять приложения по графику.

Вопрос: В чем разница между CloudWatch Events и AWS CloudTrail?

CloudWatch Events – это поток системных событий с описаниями изменений в ресурсах AWS в режиме, близком к реальному времени. С помощью CloudWatch Events можно формулировать правила для мониторинга конкретных событий и автоматического выполнения ответных действий. Сервис AWS CloudTrail регистрирует вызовы API для аккаунта AWS и доставляет файлы журналов с этими вызовами API в корзину Amazon S3 или в группу журналов CloudWatch Logs. AWS CloudTrail позволяет просматривать историю активности API по созданию, удалению и модификации ресурсов AWS, а также выявлять и устранять неисправности и уязвимости.

Вопрос: В чем разница между CloudWatch Events и AWS Config?

AWS Config – это полностью управляемый сервис, который ведет учет ресурсов в AWS, предоставляет оповещения об изменениях конфигурации и ведет журнал таких изменений для обеспечения безопасности и организации управления. Правила Config Rules помогают определять, соответствуют ли требованиям изменения в конфигурации. Сервис CloudWatch Events позволяет реагировать на изменения состояния ресурсов в режиме, близком к реальному времени. В отличие от Config и Config Rules, он не оценивает соответствие изменений политикам и не позволяет просматривать подробную историю. Он представляет собой поток событий общего назначения.

Подробнее о ценах на Amazon CloudWatch

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon CloudWatch
Есть вопросы?
Свяжитесь с нами