Начать работу с проектом

8 шагов  |  60 минут

Вопрос. Как архитектура этого проекта поможет мне создать надежное решение для аналитики журналов?

С помощью нескольких щелчков мышью на Консоли управления AWS можно создать решение на базе наших сервисов, которое за считаные минуты превратит необработанные данные в полезную информацию. Тратить время и деньги на планирование, выделение ресурсов и управление инфраструктурой не придется, поскольку сервисы полностью управляемы. Вместо этого можно направить усилия на решение практических задач бизнеса.

Вопрос. Что такое Amazon Kinesis?

Amazon Kinesis – это платформа для работы с потоковыми данными в AWS. Она предлагает мощные сервисы, которые обеспечивают легкую загрузку и анализ потоковых данных, а также позволяет создавать свои настраиваемые приложения для решения специфических задач, возникающих при обработке потоковых данных. Веб-приложения, мобильные и носимые устройства, промышленные датчики, а также различные приложения и сервисы могут формировать огромные объемы потоковых данных (иногда до нескольких терабайтов в час). Эти потоковые данные нужно непрерывно собирать, сохранять и обрабатывать. Сервисы Amazon Kinesis позволяют решать эти задачи легко и с малыми затратами.

Вопрос. Что такое Amazon Kinesis Data Firehose?

Amazon Kinesis Data Firehose – самый простой способ загрузки потоковых данных в AWS. Он позволяет захватывать и автоматически загружать данные потоковой передачи в сервисы Amazon Kinesis Data Analytics, Amazon S3, Amazon Redshift и Amazon Elasticsearch Service, а затем выполнять анализ с помощью имеющихся средств бизнес-аналитики и панелей управления в режиме, близком к реальному времени. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности потока данных и не требует постоянного администрирования. Кроме того, он позволяет создавать пакеты данных, а также сжимать и шифровать данные перед загрузкой, что сокращает объем памяти, используемой в целевом расположении, и повышает уровень безопасности.

Вопрос. Что такое Amazon Kinesis Data Analytics?

После загрузки данных в сервис AWS их необходимо обработать и проанализировать. Осваивать новые навыки в сфере программирования не придется, поскольку сервис Amazon Kinesis Data Analytics позволяет обрабатывать и анализировать данные с помощью стандартных SQL-запросов. Просто укажите в сервисе Amazon Kinesis Data Analytics входящий поток данных, напишите SQL-запросы и определите, куда следует записывать результаты обработки. Kinesis Data Analytics будет обеспечивать непрерывное выполнение SQL‑запросов к данным в процессе передачи и отправлять результаты обработки в целевые объекты.

Вопрос. Почему стоит выполнять анализ журналов в сервисе Amazon Kinesis Data Analytics?

Сервис Amazon Kinesis Data Analytics идеально подходит для анализа журналов, так как он упрощает обработку неструктурированных данных: автоматически определяет структуру и формат данных и предлагает подходящую схему. Для работы с сервисом Amazon Kinesis Data Analytics необходим только стандартный SQL-запрос. Можно сразу отправлять запросы к данным и получать полезную информацию в режиме реального времени.

Вопрос. Для каких целей, помимо анализа журналов, можно использовать сервис Amazon Kinesis Data Analytics?

Kinesis Data Analytics можно применять в большинстве случаев, когда происходит непрерывный сбор данных в режиме реального времени и нужно получить аналитическую информацию и соответствующие выводы в течение нескольких секунд или минут, а не ждать несколько дней или недель. В частности, сервис Kinesis Data Analytics позволяет быстро создавать комплексные приложения по обработке потока данных для анализа журналов или навигации по сайту, Интернета вещей (IoT), рекламных технологий, игр и многого другого. Три наиболее распространенных варианта использования сервиса: анализ временных рядов, поддержка информационных панелей, а также выдача оповещений и предупреждений в режиме реального времени.

Вопрос. Что такое Amazon Elasticsearch Service?

Amazon Elasticsearch Service – это управляемый сервис, который упрощает развертывание, эксплуатацию и масштабирование кластеров Elasticsearch в облаке AWS. Elasticsearch – это популярный поисковый и аналитический движок с открытым исходным кодом, который используется для анализа журналов и навигации, а также мониторинга приложений в режиме реального времени. Сервис Amazon Elasticsearch Service поддерживает встроенную интеграцию с Kibana, инструментом визуализации с открытым исходным кодом, что позволяет исследовать данные еще проще.

Начать работу с проектом