Amazon Kinesis Data Analytics

Сбор полезной аналитической информации путем обработки потоковых данных с помощью бессерверной платформы Apache Flink

Сервис Amazon Kinesis Data Analytics – самое удобное средство для преобразования и анализа потоковых данных в режиме реального времени с помощью Apache Flink. Apache Flink – это платформа и ядро с открытым исходным кодом для обработки потоков данных. Сервис Amazon Kinesis Data Analytics упрощает создание приложений Apache Flink, управление ими и интеграцию таких приложений с другими сервисами AWS.

Amazon Kinesis Data Analytics обеспечивает все необходимое для непрерывной работы приложений потоковой передачи и выполняет автоматическое масштабирование в зависимости от объема и скорости поступления входных данных. Amazon Kinesis Data Analytics избавляет от необходимости управлять серверами, минимальных выплат и расходов на настройку. Вы платите только за ресурсы, используемые приложениями потоковой передачи.

Запросить поддержку в оценке или создании опытного образца >>

Преимущества

Мощные возможности обработки в режиме реального времени

В Amazon Kinesis Data Analytics встроены функции фильтрации, агрегации и преобразования потоковых данных для комплексного анализа. Сервис обрабатывает потоковые данные с задержкой менее секунды, благодаря чему вы можете анализировать поступающие данные и события, а также реагировать на них в режиме реального времени.

Без управления серверами

Amazon Kinesis Data Analytics – бессерверный сервис, поэтому управлять серверами не требуется. Он запускает приложения потоковой передачи, избавляя вас от необходимости инициализировать инфраструктуру и управлять ею. Сервис Amazon Kinesis Data Analytics автоматически выполняет масштабирование инфраструктуры в соответствии с потребностями в обработке входных данных.

Оплата по факту использования

При работе с Amazon Kinesis Data Analytics плата начисляется только за те ресурсы обработки данных, которые используются приложениями потоковой передачи. Минимальные платежи и авансовые обязательства отсутствуют.

Простота использования

Сервис Amazon Kinesis Data Analytics позволяет быстро и без труда создавать запросы и сложные приложения потоковой передачи за три простых этапа: настройка источников потоковых данных, создание запросов или приложений потоковой передачи и настройка целевого расположения для обрабатываемых данных.

В состав Amazon Kinesis Data Analytics входят среды выполнения и библиотеки с открытым кодом на основе Apache Flink, при помощи которых можно создавать приложения за считаные часы, а не месяцы, используя любую среду IDE. Расширяемые библиотеки включают специализированные API для различных примеров использования, включая потоковую обработку с фиксацией состояния, ETL для потоковых данных и аналитику в режиме реального времени. Эти библиотеки можно использовать для интеграции с такими сервисами AWS, как Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Elasticsearch Service, Amazon S3, Amazon DynamoDB и другие.

Использование стандартного синтаксиса SQL для интерактивных запросов

Amazon Kinesis Data Analytics предоставляет шаблоны и интерактивный редактор, в котором можно создавать SQL‑запросы для объединения, агрегации в пределах определенных временных интервалов, фильтрации и многих других задач. Достаточно выбрать шаблон, подходящий для конкретного аналитического задания, и адаптировать полученный код к конкретному примеру использования с помощью редактора SQL. Не добавляя ни одной строки кода, вы можете отправлять результаты выполнения SQL-запросов в другие сервисы AWS, такие как AWS Lambda, Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose.

Разработка приложений потоковой передачи с помощью Apache Beam

Amazon Kinesis Data Analytics поддерживает выполнение приложений потоковой передачи, разработанных с использованием Java SDK Apache Beam в бессерверной среде Apache Flink. Apache Beam – это унифицированная модель с открытым исходным кодом для определения приложений потоковой передачи и пакетной обработки данных, которые могут выполняться на многих движках. Вы можете легко создавать на Java приложения Apache Beam для потоковой передачи и запускать их на Amazon Kinesis Data Analytics других движках.

Принцип работы

Принцип работы сервиса Amazon Kinesis Data Analytics

Примеры использования

ETL для потоковых данных

Вы можете разрабатывать приложения для извлечения, преобразования и загрузки (ETL) потоковых данных, используя встроенные в Amazon Kinesis Data Analytics операторы для преобразования, агрегации и фильтрации. Вы можете без труда и за считаные секунды передавать данные в Amazon Kinesis Data Streams, Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Elasticsearch Service, Amazon S3, собственные средства интеграции и другие сервисы, используя встроенные соединители.

Посмотрите видео о том, как сотрудники компании John Deere получают показания датчиков IoT, установленных на сельскохозяйственном оборудовании, преобразуют их в полезную информацию о клиентах в режиме реального времени и загружают преобразованные данные в озеро данных.

Аналитика в режиме реального времени

Вы можете отправлять интерактивные запросы потоковых данных, используя стандартный синтаксис SQL, создавать приложения Apache Flink с применением Java и Scala и компоновать приложения Apache Beam с помощью Java для анализа потоков данных.

Ознакомьтесь с краткими описаниями решений для аналитики в режиме реального времени, предназначенных для мониторинга журналов и веб-аналитики.

Обработка событий с фиксацией состояния

Вы можете разрабатывать приложения, которые обрабатывают события из одного или нескольких потоков данных, а также активируют условную обработку и внешние действия. Вы можете выявлять закономерности (например, аномалии) в потоках данных, используя стандартный синтаксис SQL и библиотеки Apache Flink для сложной обработки событий.

Узнайте, как компания Zynga обрабатывает игровые события, вызванные действиями игроков.

Клиенты

Пример использования: Autodesk
Autodesk в режиме реального времени рассчитывает метрики мониторинга, например время отклика и пики процента ошибок для мониторинга взаимодействия с пользователем.
Ознакомиться с примером использования 
Zynga
Компания Fox вычисляет аналитические данные о зрителях во время прямых трансляций таких мероприятий, как Супербоул.
Читать публикацию в блоге 
Zynga
Zynga выполняет анализ событий в играх, вызванных действиями пользователей, в режиме реального времени при любом масштабе.
Смотреть видео 
Пример использования: Palringo
Palringo повышает вовлеченность пользователей в игровые приложения для мобильных сообществ с использованием метрик, получаемых в режиме реального времени.
Ознакомиться с примером использования 
Публикация в блоге от Gunosy
Gunosy выполняет обработку более 500 000 записей в минуту для быстрого подбора индивидуально настроенных новостей для конечных пользователей.
Читать публикацию в блоге 

Начать работу с Amazon Kinesis Data Analytics

Зарегистрировать аккаунт AWS
Зарегистрировать аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.

Ознакомиться с руководством по началу работы
Ознакомиться с руководством по началу работы

Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.

Начать разработку с помощью Amazon Kinesis Data Analytics
Начать разработку приложений потоковой передачи в консоли

Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.