Начать работу с проектом

8 шагов  |  60 минут

Вопрос: Как архитектура этого проекта поможет мне создать надежное решение для аналитики журналов?

Всего с помощью нескольких щелчков мышью в Консоли управления AWS можно создать решение на базе нескольких сервисов, которое за считаные минуты превратит необработанные данные в полезную информацию. Тратить время и деньги на планирование, выделение ресурсов и управление инфраструктурой не придется, поскольку сервисы являются полностью управляемыми. Вместо этого можно направить свои усилия на решение практических задач бизнеса.

Вопрос: Что такое Amazon Kinesis?

Amazon Kinesis – это платформа для работы с потоковыми данными в AWS. Она предлагает многофункциональные сервисы, которые обеспечивают легкую загрузку и анализ потоковых данных, а также позволяет создавать свои собственные настраиваемые приложения для решения специфических задач, возникающих при обработке потоковых данных. Веб-приложения, мобильные и носимые устройства, промышленные датчики, а также различные приложения и сервисы могут формировать огромные объемы потоковых данных (иногда до нескольких терабайтов в час). Эти потоковые данные нужно непрерывно собирать, сохранять и обрабатывать. Сервисы Amazon Kinesis позволяют решать эти задачи легко и экономично.

Вопрос: Что такое Amazon Kinesis Firehose?

Amazon Kinesis Firehose – это самый простой способ загрузки потоковых данных в AWS. Он позволяет захватывать и автоматически загружать данные потоковой передачи в Amazon Kinesis Analytics, Amazon S3, Amazon Redshift и Amazon Elasticsearch Service, а затем выполнять анализ с помощью имеющихся средств бизнес-аналитики и панелей управления в режиме, близком к реальному времени. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности и не требует постоянного администрирования. Кроме того, Amazon Kinesis Firehose позволяет создавать пакеты данных, а также сжимать и шифровать данные перед загрузкой, что сокращает объем памяти, используемый в целевом расположении, и повышает уровень безопасности.

Вопрос: Что такое Amazon Kinesis Analytics?

После загрузки данных в AWS их необходимо обработать и проанализировать. Осваивать новые навыки в сфере программирования не придется, поскольку Amazon Kinesis Analytics позволяет обрабатывать и анализировать данные с помощью стандартных SQL-запросов. Просто укажите Kinesis Analytics на входящий поток данных, напишите SQL-запросы и определите, куда следует записывать результаты обработки. Kinesis Analytics будет обеспечивать непрерывное выполнение SQL-запросов к данным в процессе передачи и отправлять результаты обработки в целевые объекты.

Вопрос: Почему стоит выполнять аналитику журналов в Amazon Kinesis Analytics?

Amazon Kinesis Analytics идеально подходит для анализа журналов, так как он упрощает обработку неструктурированных данных: автоматически определяет структуру, форматирует данные и предлагает подходящую схему. Для работы с Amazon Kinesis Analytics необходим только стандартный SQL. Можно сразу же начать обрабатывать данные и получать полезную информацию в режиме реального времени.

Вопрос: Для каких целей, помимо анализа журналов, можно использовать Amazon Kinesis Analytics?

Kinesis Analytics можно использовать в большинстве случаев, когда происходит непрерывный сбор данных в режиме реального времени, когда необходимо получить информацию и разобраться в ней в течение нескольких секунд или минут, а не ждать несколько дней или недель. В частности, сервис Kinesis Analytics позволяет быстро создавать комплексные приложения по обработке потока данных для анализа журналов или навигации по сайту, «Интернета вещей» (IoT), рекламных технологий, игр и многого другого. Три наиболее распространенных варианта использования сервиса: анализ временных рядов, информационные панели, а также оповещения и предупреждения в режиме реального времени.

Вопрос: Что такое Amazon Elasticsearch Service?

Amazon Elasticsearch Service – это управляемый сервис, позволяющий легко осуществлять развертывание, эксплуатацию и масштабирование кластеров Elasticsearch в облаке AWS. Elasticsearch – это популярный поисковый и аналитический движок с открытым исходным кодом, используемый для анализа журналов, мониторинга приложений в режиме реального времени и анализа навигации. Amazon Elasticsearch Service поддерживает встроенную интеграцию с Kibana, инструментом визуализации с открытым исходным кодом, что позволяет исследовать данные еще проще.

Начать работу с проектом