Возможности Amazon CloudWatch

Amazon CloudWatch позволяет собирать метрики инфраструктуры более чем из 70 сервисов AWS, таких как Amazon Elastic Compute Cloud (Amazon EC2), Amazon DynamoDB, Amazon Simple Storage Service (Amazon S3), Amazon ECS, AWS Lambda и Amazon API Gateway, без каких-либо действий со стороны пользователя. Например, инстансы Amazon EC2 автоматически публикуют метрики загрузки процессора, передачи данных и использования диска, что позволяет отслеживать изменения состояния. Можно использовать встроенные метрики API Gateway для обнаружения задержек или встроенные метрики AWS Lambda для обнаружения ошибок или ограничений. Аналогичным образом, Amazon CloudWatch также позволяет собирать метрики приложений (например, активность пользователя, ошибки или использование памяти) для мониторинга производительности, устранения неполадок и отслеживания тенденций. Можно использовать агент CloudWatch или вызов сервиса API PutMetricData для публикации этих метрик в CloudWatch. Если требуются более подробные метрики, чем стандартные метрики инфраструктуры, например метрики сегментов Amazon Kinesis Data Streams, то можно просто подключить их для каждого ресурса. Аналогичным образом предоставляются метрики приложений с частотой до одного раза в секунду, которые можно использовать для статистики, визуализации и создания предупреждений с высокой степенью детализации.

Сервис Container Insights упрощает сбор и агрегацию специально подобранных метрик и журналов системы контейнеров. Он собирает метрики производительности вычислений, среди которых информация об использовании процессора, памяти, сети и диска. Сервис производит сбор для каждого контейнера в виде событий производительности и автоматически генерирует пользовательские метрики, используемые для мониторинга и предупреждений. События производительности поступают в виде журналов CloudWatch Logs с метаданными о запущенном окружении, такими как идентификатор инстанса Amazon EC2, сервис, точка подключения и идентификатор тома Amazon Elastic Block Store (Amazon EBS). Это упрощает мониторинг и устранение неполадок. Пользовательские метрики CloudWatch автоматически извлекаются из этих журналов, после чего их можно анализировать с помощью языка расширенных запросов CloudWatch Logs Insights. Container Insights также позволяет собирать журналы приложений (stdout / stderr), пользовательские журналы, предопределенные журналы инстанса Amazon EC2, журналы плоскости данных Amazon EKS / k8s и журналы плоскости управления Amazon EKS. Для сбора журналов кластеров Amazon EKS и k8s можно использовать заранее настроенный агент FluentD. Подробнее см. в документации по настройке журналов Container Insights. Для сбора журналов приложений Amazon ECS можно использовать драйвер Журналов Amazon CloudWatch или Fluent Bit.

Потоки метрик Amazon CloudWatch позволяют создавать непрерывные потоки метрик в режиме, близком к реальному времени, в выбранное вами местоположение. Это упрощает отправку метрик CloudWatch популярным сторонним поставщикам сервисов с использованием HTTP-адреса Amazon Kinesis Data Firehose. Вы можете создать непрерывный масштабируемый поток, включив в него самые актуальные метрики CloudWatch для работы панелей управления, предупреждений и других инструментов, которые зависят от точных и своевременных метрик. Вы без проблем можете направить метрики в озеро данных на AWS, например на Amazon S3, и начать анализировать использование или производительность с помощью таких инструментов, как Amazon Athena.

Наблюдение за несколькими аккаунтами в Amazon CloudWatch позволяет отслеживать приложения, охватывающие несколько аккаунтов в регионе Amazon Web Services, и устранять проблемы. Вы можете централизованно искать хранящиеся в аккаунтах группы журналов, выполнять запросы Logs Insights в нескольких аккаунтах и создавать правила Contributor Insights для нескольких аккаунтов, чтобы определить участников, создающих наибольшее количество записей в журнале. Вы можете визуализировать показатели многих аккаунтов в консолидированном представлении, создавать сигналы тревоги, которые оценивают метрики из других аккаунтов, чтобы узнавать об отклонениях и проблемных тенденциях. Используя наблюдаемость нескольких аккаунтов в Container Insights, вы можете отслеживать контейнерную среду вашей организации и выявлять риски до того, как будет затронута работа пользователей. Наблюдая за несколькими аккаунтами в CloudWatch, вы можете просматривать интерактивную карту приложений для нескольких аккаунтов с помощью ServiceLens, легко углубляясь в соответствующие метрики, журналы и трассировки. Вы также можете использовать эту функцию для настройки потока метрик, охватывающих несколько аккаунтов Amazon в регионе Amazon Web Services. Наблюдение за несколькими аккаунтами в CloudWatch дает целостную картину рабочих процессов всего за несколько шагов и не требует дополнительных линий передачи данных, позволяя экономить время, силы и средства на управление инфраструктурой и приложениями.

Панели управления Amazon CloudWatch позволяют создавать пригодные для многократного использования графики и обеспечивают единое представление данных для визуализации облачных ресурсов и приложений. Метрики и данные журналов можно отображать в графическом виде рядом друг с другом на одной панели управления, что позволяет быстро получить необходимые данные и выявить причину проблемы по результатам диагностики. Например, можно визуализировать ключевые метрики, такие как использование процессора и памяти, и сопоставить их с имеющимися ресурсами. Можно связать шаблон журнала с определенной метрикой и настроить предупреждения, чтобы выявлять проблемы с производительностью и операционные неполадки. Это дает общее представление о работоспособности системы и позволяет быстро устранять неполадки, что уменьшает MTTR.

С помощью составных предупреждений Amazon CloudWatch можно комбинировать множество оповещений и снижать уровень помех от них. Если возникшая проблема затрагивает несколько его ресурсов, вы получите одно предупреждение для всего приложения, а не по одному для каждого затронутого ресурса. Это поможет сосредоточиться на поиске первопричины операционных проблем и сократить время простоя приложения. Вы можете указывать общее состояние для группировки таких ресурсов, как приложение, регион AWS или зона доступности.

С помощью предупреждений Amazon CloudWatch можно установить для метрик пороговые значения, по достижении которых будут выполняться определенные действия. Можно создавать высокочастотные предупреждения, устанавливать процентильные пороги и настраивать выполнение какого-либо действия при необходимости. Например, можно создавать предупреждения на основе метрик Amazon EC2, настраивать уведомления и выполнять одно или несколько действий для обнаружения и отключения неиспользуемых или неэффективно используемых инстансов. Предупреждения в режиме реального времени на основе метрик и событий позволяют свести к минимуму время простоя и потенциальное влияние на бизнес.

Приложения и ресурсы инфраструктуры генерируют множество операционных данных и данных мониторинга в виде журналов и метрик. Amazon CloudWatch предоставляет единую платформу для доступа к этим наборам данных и их визуализации, а также позволяет без труда сопоставлять их. Это позволяет быстро выявить основную причину проблемы по результатам диагностики. Можно связать шаблон журнала, например ошибку, с конкретной метрикой и настроить предупреждения, чтобы выявлять проблемы с производительностью и операционные неполадки.

Amazon CloudWatch Application Insights производит автоматизированную настройку возможностей наблюдения для ваших корпоративных приложений, чтобы вы получали сведения об их работоспособности. Это позволяет определить и настроить основные метрики и журналы во всех ваших ресурсах приложения и технологических стеках, т. е. базах данных, веб-серверах (IIS) и серверах приложений, операционной системе, балансировщиках нагрузки и запросах. Сервис непрерывно отслеживает эти телеметрические данные для обнаружения и сопоставления аномалий и ошибок, уведомляя вас о проблемах, возникших в приложении. Чтобы устранять неполадки, он создает автоматизированные панели управления для обнаруженных проблем со связанными метрическими аномалиями и журналами ошибок, а также с дополнительной аналитической информацией об их возможной исходной причине. Это позволяет быстро корректировать работу приложений, обеспечивая их эффективность без влияния на конечных пользователей.

​​​​​Аналитика баз данных

• Аналитика баз данных CloudWatch — это решение для наблюдения за базами данных, обеспечивающее удобную среду работы для инженеров DevOps, разработчиков приложений и администраторов баз данных (DBA) для ускорения устранения неполадок в базах данных и получения целостного представления о состоянии парка баз данных. Этот сервис доступен для баз данных Amazon Aurora и RDS.
• Аналитика журналов Amazon CloudWatch объединяет журналы и метрики приложений, баз данных и операционных систем, в которых они работают, в едином представлении в консоли. Готовые панели управления, рекомендуемые оповещения и автоматический сбор данных телеметрии дают инженерам DevOps и администраторам баз данных возможность отслеживать состояние парка баз данных и использовать пошаговые инструкции по устранению неполадок для углубленного анализа исходных причин на уровне конкретных инстансов. Разработчики приложений могут сопоставлять влияние зависимостей баз данных с производительностью и доступностью приложений, критически важных для бизнеса. Это обеспечивается переходом от контекста обзора производительности приложений в решении для отслеживания состояния приложений CloudWatch на уровень конкретной зависимой базы данных в Аналитике баз данных.

Чем Аналитика баз данных CloudWatch отличается от Аналитики производительности RDS

• Аналитики производительности RDS — это стандартный компонент для настройки и мониторинга производительности баз данных, который позволяет клиентам оценивать нагрузку на свои базы данных по одному инстансу за раз с помощью встроенной панели управления.
• Аналитика баз данных CloudWatch включает возможности аналитики производительности RDS. Это усовершенствованная комплексная функция наблюдения за базами данных, предназначенная для инженеров DevOps и администраторов баз данных (DBA) и служащая для устранения неполадок в базах данных и вспомогательных приложениях в нужных масштабах. Она обеспечивает представления на уровне парка, интеграцию с функцией мониторинга производительности приложений (APM) через Отслеживание состояния приложений, корреляцию метрик базы данных с журналами и событиями и визуализацию статистики SQL-запросов.

Lambda Insights предоставляет автоматические панели управления в консоли CloudWatch. Эти панели отображают производительность и ошибки вычислений. На каждой панели отображается список метрик за выбранный период времени, что позволяет (в зависимости от выбранного интервала и функции) перейти к более подробным журналам приложений, отслеживаниям AWS X‑Ray и событиям производительности.

Сервис Amazon CloudWatch Anomaly Detection применяет алгоритмы машинного обучения для непрерывного анализа данных метрики и обнаруживает аномалии. С его помощью можно создавать предупреждения, пороговые значения для которых автоматически изменяются в отношении шаблонов естественных метрик, например сезонных колебаний в зависимости от времени, дня недели или изменения тенденций. Кроме того, можно визуализировать метрики в виде полос обнаружения аномалий. Таким образом вы сможете отслеживать и выявлять неожиданные изменения в метриках и устранять их причины.

С помощью сервиса Amazon CloudWatch ServiceLens можно из единого центра визуализировать данные о работоспособности, производительности и доступности ваших приложений. Он работает совместно с метриками и журналами CloudWatch, а также с маршрутами из сервиса AWS X-Ray, позволяя вам получать полную картину своих приложений и их зависимостей. Вы можете быстро обнаруживать элементы, ухудшающие производительность, выявлять первопричины проблем, связанных с приложениями, и определять затронутых пользователей. С помощью сервиса CloudWatch ServiceLens можно получить полную картину ваших приложений в трех основных областях: мониторинг инфраструктуры (с использованием метрик и журналов, чтобы понимать, какие ресурсы используются для поддержки ваших приложений), мониторинг транзакций (использование маршрутов для понимания зависимостей между вашими ресурсами) и мониторинг конечных пользователей (использование программ-осведомителей для мониторинга адресов и уведомления вас в случае ухудшения условий работы для конечных пользователей). В сервисе CloudWatch ServiceLens имеется карта сервисов, на которой визуализированы контекстные связи между всеми вашими ресурсами, и интуитивно понятный интерфейс, благодаря чему вы можете еще глубже изучать сопоставленные данные мониторинга.

Сервис Amazon CloudWatch Synthetics упрощает мониторинг конечных точек приложений. Он круглосуточно и без выходных выполняет тестирование ваших адресов и оповещает вас, если их поведение отличается от ожидаемого. Эти тесты можно настроить для проверки доступности, задержек, транзакций, испорченных или неработоспособных ссылок, пошагового выполнения задач, ошибок загрузки страниц, задержек нагрузки для активов пользовательских интерфейсов, потоков сложных мастеров или потоков проверки в ваших приложениях. Вы также можете использовать сервис CloudWatch Synthetics, чтобы выявлять адреса приложений, для которых получены аварийные сигналы, и сопоставлять их с проблемами базовой инфраструктуры, что позволяет уменьшить MTTR. Благодаря этому новому компоненту сервис CloudWatch теперь собирает трафик программ-осведомителей, которые могут непрерывно проверять условия работы ваших клиентов, даже если их трафик не проходит через ваши приложения. Это позволяет обнаруживать проблемы до того, как их обнаружат ваши клиенты. Сервис CloudWatch Synthetics поддерживает мониторинг ваших REST API, URL-адресов и контента веб-сайтов, проверяет наличие неавторизованных изменений вследствие фишинга, инъекции кода или выполнения межсайтовых сценариев.

Amazon CloudWatch RUM предоставляет возможность контролировать производительность приложений на стороне клиента и снижает MTTR. Он позволяет собирать данные о производительности интернет-приложений на стороне клиента в режиме, близком к реальному времени, чтобы выявлять и диагностировать проблемы. CloudWatch RUM в сочетании с данными CloudWatch Synthetics предоставляет еще больше информации о взаимодействии с пользователем. Вы можете визуализировать аномальные показатели производительности и применять отладочные данные (сообщения об ошибках, трасссировки стеков, сеансы пользователей и так далее) для устранения проблем с производительностью (вызванных ошибками JavaScript, сбоями или задержками). Вы можете получить ценные сведения о разных аспектах влияния на пользователя, например количество подключенных пользователей, их географическое расположение и используемые браузеры. CloudWatch RUM агрегирует данные о пути пользователя в вашем приложении, которые помогут вам определить приоритеты при выпуске новых возможностей и исправлении ошибок.

Auto Scaling позволяет автоматизировать планирование ресурсов. Можно установить для ключевой метрики пороговое значение, по достижении которого будет отправляться предупреждение и автоматически выполняться действие Auto Scaling. Например, можно настроить рабочий процесс Auto Scaling для добавления или удаления инстансов EC2 на основании метрик загрузки ЦПУ и оптимизировать таким образом затраты на ресурсы.

Amazon CloudWatch Logs Insights позволяет извлекать больше полезной информации из данных журналов. Вы можете выполнять запросы к журналам, отправленным в CloudWatch, в консоли AWS или создавать запросы с агрегированием, фильтрами и регулярными выражениями для полного контроля над операциями. Кроме того, можно визуализировать данные временных рядов, глубоко изучить отдельные события журнала и экспортировать результаты запросов на панели управления CloudWatch.

Благодаря генеративному искусственному интеллекту вы можете использовать для запросов к журналам естественный язык (предварительная версия) и быстро получать полезную информацию, задавая такие вопросы, как «Покажите мне самые медленные функции Lambda». Вы можете описать нужные данные журнала простым языком, а CloudWatch автоматически сгенерирует индивидуальный запрос, что упрощает анализ журналов, позволяет быстрее анализировать их и получать аналитические данные независимо от вашего опыта.

Технологии искусственного интеллекта и машинного обучения позволяют ускорить исследование журналов с помощью сервиса CloudWatch Logs Anomaly Detection, в котором используются алгоритмы машинного обучения, основанные на многолетних операционных данных Amazon.com и AWS в огромных масштабах. Благодаря этому CloudWatch может распознавать общие структуры записей журнала, извлекать важное содержимое, выявлять тенденции и аномалии, помогая сократить MTTR без необходимости настраивать параметры конфигурации.

С помощью CloudWatch Logs Live Tail вы можете интерактивно и централизованно анализировать потоковые данные журналов в режиме реального времени. Запускайте контекстные запросы для беспрепятственного перехода от мониторинга журналов в реальном времени к более глубокой аналитике и ускоренному расследованию и разрешению инцидентов. Live Tail устраняет необходимость в специализированных решениях и объединяет важнейшие функции ведения журнала, помогая сократить время обнаружения и устранения проблем.

Новая интеграция CloudWatch Logs и OpenSearch Service позволяет клиентам AWS запрашивать и анализировать журналы как в CloudWatch, так и в OpenSearch Service, обеспечивая доступ к лучшим возможностям обоих решений без необходимости в сложных конвейерах данных и операциях извлечения, преобразования и загрузки (ETL). Клиенты AWS могут централизованно хранить журналы в CloudWatch Logs, используя при этом глубокую аналитику на основе OpenSearch Service. Клиенты CloudWatch Logs получат доступ к запросам OpenSearch Service (язык конвейерной обработки и поддержка SQL-запросов) и автоматическим панелям управления популярных журналов, предоставляемых AWS (например, VPC, WAF, CloudTrail). Клиенты OpenSearch Service получат доступ к журналам CloudWatch Logs без дублирования данных и управления соответствующими конвейерами. Используя OpenSearch Service Discover, они могут анализировать данные операционных журналов, хранящиеся в CloudWatch Logs, с использованием языка OpenSearch Service SQL и Piped Processing Language, что упрощает выполнение сложных запросов и визуализаций без перемещения данных.

Amazon CloudWatch позволяет до 15 месяцев хранить метрики для отслеживания тенденций и сезонности. Это дает возможность анализировать исторические данные для точной настройки использования ресурсов. Кроме того, CloudWatch позволяет получать метрики работоспособности с детализацией вплоть до одной секунды, включая пользовательские метрики из локальных приложений клиента. Точные данные, поступающие в режиме реального времени, повышают качество визуализации и дают возможность определять и отслеживать тенденции для оптимизации производительности приложений и работоспособности системы.

Amazon CloudWatch Metric Math позволяет выполнять расчеты с использованием нескольких метрик в целях анализа в режиме реального времени. Благодаря этому можно без труда получать аналитическую информацию на основании существующих метрик CloudWatch, чтобы лучше понимать состояние и производительность инфраструктуры. Полученные расчетные метрики можно визуализировать в Консоли управления AWS, добавлять их в панели управления CloudWatch или извлекать с помощью действия API GetMetricData. Metric Math поддерживает арифметические операции сложения, вычитания, деления и умножения, а также математические функции суммирования, поиска среднего арифметического, минимума, максимума и среднеквадратического отклонения.

CloudWatch Container Insights и Lambda Insights упрощают анализ данных наблюдаемости за счет сопоставления метрик, журналов и трассировок, а также упрощают детализацию данных для более быстрого анализа первопричин неполадок и их устранения. Container Insights и Lambda Insights предоставляют глубокие ссылки на XRay для анализа трассировки и на подробные журналы, такие как события в журналах производительности, журналы приложений (stdout/stderr) и настраиваемые журналы для расширенной аналитики с помощью CloudWatch Logs Insights. Container Insights также обеспечивает визуализацию событий жизненного цикла Amazon ECS, метрик уровня инстансов Amazon EC2, плоскости данных Amazon EKS/k8S и плоскости управления Amazon EKS, обеспечивая комплексную наблюдаемость в контейнерных средах.

Используя генератор запросов на естественном языке CloudWatch, вы также можете запрашивать метрики и журналы для контейнеров и бессерверных приложений, работающих на AWS Lambda, задавая такие вопросы, как «Покажите мне самые медленные функции Lambda». Это поможет вам анализировать телеметрию и данные независимо от вашего опыта работы с языками запросов.

Сервис Lambda Insights упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений и пользовательским журналам c помощью языка расширенных запросов CloudWatch Logs Insights.

Теперь сервис Amazon CloudWatch включает сервис Contributor Insights, который анализирует данные временных рядов и создает представления со сведениями об элементах, которые сильнее всего влияют на производительность системы. После настройки сервиса Contributor Insights он работает непрерывно, не требуя вмешательства пользователя. Благодаря этому разработчики и операторы могут быстрее выявлять, диагностировать и устранять проблемы во время эксплуатационных мероприятий. Сервис Contributor Insights помогает понять, кто или что (например, определенный ресурс, аккаунт клиента или вызов API) оказывает влияние на производительность вашей системы и приложений. Это позволяет обнаруживать выбросы, находить самые проблемные шаблоны трафика и ранжировать наиболее используемые системные процессы. Вы можете создавать правила Contributor Insights, чтобы оценивать шаблоны в структурированных событиях журналов по мере их поступления в сервис CloudWatch Logs, в том числе журналов из сервисов AWS, например сервисов AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC), Amazon API Gateway и любых других пользовательских журналов, отправляемых вашим сервисом или локальными серверами, например журналов доступа Apache, а также журналов из других облаков. Сервис Contributor Insights оценивает эти события журналов в режиме почти реального времени и отображает отчеты, в которых показаны основные элементы, оказывающие влияние на систему, и количество уникальных элементов в наборе данных. Элемент, оказывающий влияние на систему, – это агрегированная метрика на основе измерений, содержащихся в полях журналов в сервисе CloudWatch Logs, например идентификатор аккаунта или интерфейса в сервисе VPC Flow Logs либо любой другой пользовательский набор измерений. Вы можете сортировать и фильтровать данные этих элементов на основе ваших собственных пользовательских критериев. Данные отчетов Contributor Insights можно отображать на панелях управления CloudWatch, строить на их основе графики рядом с метриками CloudWatch и добавлять их в аварийные сигналы CloudWatch.

Amazon CloudWatch Metrics Insights представляет собой быстрое и гибкое ядро выполнения запросов SQL, которое позволяет выявлять тенденции и шаблоны в изменениях миллионов операционных метрик в режиме, близком к реальному времени. Metrics Insights предоставляет более подробную информацию о производительности приложений и инфраструктуры в большом масштабе, поддерживая гибкие запросы и интерактивное агрегирование метрик. Запросы Metrics Insights позволяют создать мощные и наглядные визуализации, чтобы выполнять упреждающий мониторинг, быстро обнаруживать проблемы и снижать значение MTTR. 

Сервис Amazon CloudWatch интегрирован с Управлением идентификацией и доступом AWS (IAM), что позволяет контролировать доступ пользователей и ресурсов к данным, а также определять способ доступа к ним.

Кроме того, Amazon CloudWatch Logs соответствует требованиям PCI и FedRamp. Данные шифруются при хранении и передаче. Можно также шифровать группы журналов с помощью AWS Key Management Service (AWS KMS) для обеспечения дополнительной безопасности и соответствия требованиям.

Защита данных журналов Amazon CloudWatch Logs помогает настраивать политики защиты данных, с помощью которых можно обнаруживать и защищать конфиденциальные данные, записываемые системами и приложениями. Эта функция автоматически определяет и маскирует конфиденциальную информацию в журналах, используя машинное обучение и сопоставление шаблонов в соответствии с определенной вами политикой. Защита данных может помочь оптимизировать архитектуру, освободив приложения от логики защиты данных, и в то же время помогает выполнять поставленные цели. Вы можете настроить политики защиты данных для сканирования журналов по мере их заполнения, чтобы определять, насколько конфиденциальную информацию они содержат, и при обнаружении таковой маскировать ее. Маскированные данные могут также раскрываться для проверки, выполняемой инженерами по безопасности, посредством назначения высоких привилегий в IAM.