Сервис Amazon Kinesis Data Streams позволяет создавать собственные приложения для обработки или анализа потоковых данных при решении узкоспециальных задач. Kinesis Data Streams может непрерывно получать и сохранять данные со скоростью несколько терабайтов в час из сотен тысяч источников, таких как истории посещений веб-сайтов, финансовые транзакции, ленты социальных сетей, системные журналы и события отслеживания местоположения. Используя клиентскую библиотеку Kinesis (KCL), можно создавать приложения Amazon Kinesis, в которых потоковые данные будут служить основой для информационных панелей в режиме реального времени, выдачи предупреждений, динамического регулирования цен и показа рекламы или для решения других задач. Данные из Kinesis Data Streams можно также передавать в другие сервисы AWS, например в Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon EMR и AWS Lambda.


Знакомство с Kinesis Data Streams (2:08)

kenesis-thumb3


Kinesis Data Streams обеспечивает обработку данных в режиме реального времени. Благодаря Kinesis Data Streams можно непрерывно собирать данные по мере их возникновения и оперативно реагировать на важную информацию о рабочих процессах и состоянии бизнеса.

Частный доступ к API Kinesis Data Streams можно получить из облака Amazon Virtual Private Cloud (VPC), создав адреса VPC. Соответствие нормативным требованиям можно обеспечить путем шифрования конфиденциальных данных в Kinesis Data Streams с использованием шифрования на стороне сервера и главных ключей AWS KMS.

Поток Kinesis Streams можно создать за считаные секунды. Можно легко помещать данные в свой поток с помощью библиотеки источников Amazon Kinesis (KPL) и создавать приложения Kinesis для обработки данных, используя клиентскую библиотеку Kinesis (KCL).

Kinesis Data Streams позволяет одновременно выполнять обработку одного и того же потока с помощью нескольких приложений Kinesis. Например, на основании данных одного и того же потока одно из приложений может в реальном времени выполнять аналитические вычисления, а другое – отправлять данные в хранилище Amazon S3.

Пропускная способность потока данных Kinesis может масштабироваться от нескольких мегабайтов до нескольких терабайтов в час и от тысяч до миллионов операций PUT в секунду. Пропускную способность потока можно динамически регулировать в любое время в зависимости от объема входных данных.

Kinesis Data Streams не предусматривает авансовых платежей. Вы оплачиваете только те ресурсы, которые используете. Поток данных Kinesis со скоростью приема данных 1 МБ/с и скоростью передачи данных 2 МБ/с стоит всего 0,015 USD в час.

Kinesis Data Streams осуществляет синхронную репликацию потоковых данных в трех ЦОД региона AWS и хранит их в течение 7 дней, сокращая вероятность потери данных в случае сбоя приложения, отдельной машины или ЦОД.


Kinesis Data Streams можно использовать для сбора данных журналов и событий из таких источников, как серверы, стационарные компьютеры или мобильные устройства. При этом созданные клиентом приложения Kinesis будут выполнять непрерывную обработку данных, создавать метрики, работать с информационными панелями в режиме реального времени и передавать сводные данные в хранилища, например в Amazon S3.

Приложения Kinesis могут выполнять аналитические вычисления в режиме реального времени, обрабатывая данные высокочастотных событий, например показания сенсоров, собираемые Kinesis Data Streams. Это дает возможность получать аналитическую информацию по минутам, а не по часам или дням.

Мобильные приложения могут передавать данные в Kinesis Data Streams с сотен тысяч устройств. Данные будут доступны сразу же после их создания мобильными устройствами.

Подробнее об интеграции Kinesis Data Streams и AWS Mobile SDK (iOS | Android)

Kinesis Data Streams может непрерывно собирать данные о взаимодействии игроков с приложением и передавать их на игровую платформу. Используя данные о действиях и поведении игроков, собираемые Kinesis Data Streams, можно проектировать увлекательные динамичные игры.