Amazon Kinesis Data Analytics – это сервис, упрощающий анализ потоковых данных в режиме реального времени. Используя шаблоны и встроенные операторы, вы можете быстро и легко составлять запросы и разрабатывать сложные приложения в режиме реального времени. Amazon Kinesis Data Analytics настраивает ресурсы для работы ваших приложений и автоматически масштабируется для обработки любых объемов входящих данных.

Без управления серверами

Вам не потребуется настраивать и контролировать сложную инфраструктуру для обеспечения высокой доступности и обработки с фиксацией состояния. Amazon Kinesis Data Analytics – это бессерверный сервис, который обеспечивает все условия, необходимые для непрерывной работы вашего приложения. В частности, он автоматически подготавливает инфраструктуру для непрерывной обработки потоковых данных.

Автоматическая эластичность с оплатой по факту использования

Amazon Kinesis Data Analytics эластично масштабирует приложения, чтобы они справлялись с любым объемом данных во входящем потоке. Оплачиваются только те ресурсы, которые используются для работы приложения потоковой передачи. Не нужно беспокоиться о предоставлении инфраструктуры или оплате простаивающих ресурсов.

Задержка обработки – не более одной секунды

Amazon Kinesis Data Analytics обеспечивает обработку с задержкой не более секунды, что позволяет генерировать предупреждения и информационные панели, а также получать полезную аналитическую информацию в режиме реального времени.

Для пользователей SQL

Поддержка стандартного SQL

Amazon Kinesis Data Analytics поддерживает язык SQL стандарта ANSI, поэтому для работы не понадобится никаких дополнительных знаний.

Интеграция с сервисами входящих и исходящих данных

Amazon Kinesis Data Analytics интегрирован с сервисами Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose, что обеспечивает простой сбор потоковых данных. Укажите сервису Amazon Kinesis Data Analytics входящий поток данных, и он автоматически прочитает и проанализирует данные, а также сделает их доступными для обработки. Результаты обработки посредством сервиса Amazon Kinesis Data Firehose можно отправлять в другие сервисы AWS, например Amazon S3, Amazon Redshift или Amazon Elasticsearch Service. Можно также отправлять исходящие данные в Amazon Kinesis Data Streams для создания конвейеров обработки данных с расширенными возможностями.

Интерактивный редактор SQL

Вам доступен интерактивный редактор для составления запросов SQL, использующих операции с потоковыми данными, такие как алгоритм определения средних значений в скользящем временном окне. Можно также в режиме реального времени просматривать результаты обработки потоковых данных и возникшие ошибки для интерактивной отладки или дальнейшей настройки скриптов.

Простой редактор схем

В Amazon Kinesis Data Analytics имеется простой редактор схем для выявления и редактирования структуры входящих данных. Мастер автоматически распознает стандартные форматы данных, например JSON и CSV. Он определяет структуру входящих данных для создания базовой схемы, которую можно уточнять с помощью редактора схем.

Встроенные шаблоны потоковой обработки

Интерактивный редактор SQL сопровождается набором шаблонов потоковой обработки с базовым кодом SQL для самых распространенных типов операций, таких как объединение, преобразование с учетом событий и фильтрация. Выберите шаблон, подходящий для конкретного аналитического задания, и отредактируйте имеющийся код с помощью редактора SQL в соответствии с примером использования.

Расширенные возможности потоковой обработки

В Amazon Kinesis Data Analytics есть возможности, оптимизированные для потоковой обработки, которые позволяют просто выполнять расширенный анализ потоковых данных, например обнаружение аномалий или аналитику «top-K».

Для пользователей Java

Инструменты с открытым исходным кодом

Amazon Kinesis Data Analytics включает библиотеки с открытым кодом, основанные на Apache Flink. Вы можете запускать их где угодно без блокировки поставщиком. В число этих библиотек входят Apache Flink, AWS SDK для Java и интеграция с Сервисами AWS. Apache Flink – это платформа и ядро с открытым исходным кодом, предназначенные для создания высокодоступных и точных приложений потоковой передачи. AWS SDK для Java помогает упростить написание кода, предоставляя API-интерфейсы Java для многих сервисов AWS, и включает библиотеку Java, примеры кода и документацию для AWS.

Встроенные операторы

Встроенные операторы позволяют создать приложение потоковой передачи на Java за считанные часы, а не месяцы. Библиотеки Java для Amazon Kinesis Data Analytics можно расширять. Кроме того, они включают более 25 встроенных операторов потоковой обработки из Apache Flink, например преобразование, секционирование, агрегирование, присоединение и кадрирование, чтобы сократить затраты времени и усилий на разработку.

Интеграция с сервисами AWS

Вы можете настроить и интегрировать источник или целевое расположение данных с помощью минимального количества кода. Вы можете использовать библиотеки Java сервиса Amazon Kinesis Data Analytics для интеграции с Amazon S3, Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose и Amazon CloudWatch.

Расширенные возможности интеграции

Помимо возможностей интеграции с AWS, библиотеки Java включают более десяти соединителей от Apache Flink и возможность создания специальных возможностей интеграции. Написав пару дополнительных строк кода, вы можете изменить поведение каждой возможности интеграции с помощью расширенных функциональных возможностей. Вы также можете создавать специальные возможности интеграции с помощью набора примитивов Apache Flink, позволяющих считывать и записывать данные в файлах, каталогах, сокетах или других источниках, доступных через Интернет.

Надежные резервные копии приложений

Вы можете создавать и удалять надежные резервные копии приложений с помощью простого вызова API. Вы можете мгновенно восстановить приложения из последней резервной копии после нарушения или вернуться к его более ранней версии.

Строго однократная обработка

Приложения Java в Amazon Kinesis Data Analytics позволяют создавать приложения, чьи обработанные записи влияют на результаты только один раз. Это называют строго однократной обработкой. Это означает, что даже в случае нарушения в работе приложения, например технического обслуживания или вызванного пользователем обновления приложения, сервис обеспечит обработку всех данных и отсутствие дубликатов.

Обработка с фиксацией состояния

Сервис сохраняет предыдущие и текущие вычисления, или состояние, в хранилище запущенного приложения. Это позволяет в режиме реального времени сравнивать текущие и прошлые результаты за любой период времени, а также обеспечивает быстрое восстановление после нарушений в работе приложения. Состояние всегда шифруется и поэтапно сохраняется в хранилище запущенного приложения.

Начать работу с Amazon Kinesis Data Analytics

Product-Page_Standard-Icons_01_Product-Features_SqInk
Расчет стоимости

Перейти на страницу цен

Подробнее 
Product-Page_Standard-Icons_01_Product-Features_SqInk
Ознакомиться с руководством по началу работы

Данное пошаговое руководство поможет понять, как использовать Amazon Kinesis Data Analytics.

Product-Page_Standard-Icons_03_Start-Building_SqInk
Разработка приложений потоковой передачи

Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.