Amazon Kinesis Data Analytics
Сервис Amazon Kinesis Data Analytics – самое удобное средство для преобразования и анализа потоковых данных в режиме реального времени с помощью Apache Flink. Apache Flink – это платформа и ядро с открытым исходным кодом для обработки потоков данных. Сервис Amazon Kinesis Data Analytics упрощает создание приложений Apache Flink, управление ими и интеграцию таких приложений с другими сервисами AWS.
Amazon Kinesis Data Analytics обеспечивает все необходимое для непрерывной работы приложений потоковой передачи и выполняет автоматическое масштабирование в зависимости от объема и скорости поступления входных данных. Amazon Kinesis Data Analytics избавляет от необходимости управлять серверами, минимальных выплат и расходов на настройку. Вы платите только за ресурсы, используемые приложениями потоковой передачи.
Запросить поддержку в оценке или создании опытного образца >>
Преимущества
Мощные возможности обработки в режиме реального времени
В Amazon Kinesis Data Analytics встроены функции фильтрации, агрегации и преобразования потоковых данных для комплексного анализа. Сервис обрабатывает потоковые данные с задержкой менее секунды, благодаря чему вы можете анализировать поступающие данные и события, а также реагировать на них в режиме реального времени.
Без управления серверами
Amazon Kinesis Data Analytics – бессерверный сервис, поэтому управлять серверами не требуется. Он запускает приложения потоковой передачи, избавляя вас от необходимости инициализировать инфраструктуру и управлять ею. Сервис Amazon Kinesis Data Analytics автоматически выполняет масштабирование инфраструктуры в соответствии с потребностями в обработке входных данных.
Оплата по факту использования
При работе с Amazon Kinesis Data Analytics плата начисляется только за те ресурсы обработки данных, которые используются приложениями потоковой передачи. Минимальные платежи и авансовые обязательства отсутствуют.
Простота использования
Сервис Amazon Kinesis Data Analytics позволяет быстро и без труда создавать запросы и сложные приложения потоковой передачи за три простых этапа: настройка источников потоковых данных, создание запросов или приложений потоковой передачи и настройка целевого расположения для обрабатываемых данных.
Создание сложных приложений потоковой передачи с помощью Apache Flink
В состав Amazon Kinesis Data Analytics входят среды выполнения и библиотеки с открытым кодом на основе Apache Flink, при помощи которых можно создавать приложения за считаные часы, а не месяцы, используя любую среду IDE. Расширяемые библиотеки включают специализированные API для различных примеров использования, включая потоковую обработку с фиксацией состояния, ETL для потоковых данных и аналитику в режиме реального времени. Эти библиотеки можно использовать для интеграции с такими сервисами AWS, как Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Elasticsearch Service, Amazon S3, Amazon DynamoDB и другие.
Использование стандартного синтаксиса SQL для интерактивных запросов
Amazon Kinesis Data Analytics предоставляет шаблоны и интерактивный редактор, в котором можно создавать SQL‑запросы для объединения, агрегации в пределах определенных временных интервалов, фильтрации и многих других задач. Достаточно выбрать шаблон, подходящий для конкретного аналитического задания, и адаптировать полученный код к конкретному примеру использования с помощью редактора SQL. Не добавляя ни одной строки кода, вы можете отправлять результаты выполнения SQL-запросов в другие сервисы AWS, такие как AWS Lambda, Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose.
Разработка приложений потоковой передачи с помощью Apache Beam
Amazon Kinesis Data Analytics поддерживает выполнение приложений потоковой передачи, разработанных с использованием Java SDK Apache Beam в бессерверной среде Apache Flink. Apache Beam – это унифицированная модель с открытым исходным кодом для определения приложений потоковой передачи и пакетной обработки данных, которые могут выполняться на многих движках. Вы можете легко создавать на Java приложения Apache Beam для потоковой передачи и запускать их на Amazon Kinesis Data Analytics других движках.
Принцип работы
Примеры использования
ETL для потоковых данных
Вы можете разрабатывать приложения для извлечения, преобразования и загрузки (ETL) потоковых данных, используя встроенные в Amazon Kinesis Data Analytics операторы для преобразования, агрегации и фильтрации. Вы можете без труда и за считаные секунды передавать данные в Amazon Kinesis Data Streams, Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Elasticsearch Service, Amazon S3, собственные средства интеграции и другие сервисы, используя встроенные соединители.
Посмотрите видео о том, как сотрудники компании John Deere получают показания датчиков IoT, установленных на сельскохозяйственном оборудовании, преобразуют их в полезную информацию о клиентах в режиме реального времени и загружают преобразованные данные в озеро данных.
Аналитика в режиме реального времени
Вы можете отправлять интерактивные запросы потоковых данных, используя стандартный синтаксис SQL, создавать приложения Apache Flink с применением Java и Scala и компоновать приложения Apache Beam с помощью Java для анализа потоков данных.
Ознакомьтесь с краткими описаниями решений для аналитики в режиме реального времени, предназначенных для мониторинга журналов и веб-аналитики.
Обработка событий с фиксацией состояния
Вы можете разрабатывать приложения, которые обрабатывают события из одного или нескольких потоков данных, а также активируют условную обработку и внешние действия. Вы можете выявлять закономерности (например, аномалии) в потоках данных, используя стандартный синтаксис SQL и библиотеки Apache Flink для сложной обработки событий.
Узнайте, как компания Zynga обрабатывает игровые события, вызванные действиями игроков.
Клиенты
Начать работу с Amazon Kinesis Data Analytics
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.