Amazon Kinesis Data Streams
Amazon Kinesis Data Streams (KDS) – это надежный сервис для потоковой передачи данных в режиме реального времени с широкими возможностями масштабирования. KDS может непрерывно выполнять сбор данных со скоростью несколько гигабайт в секунду из сотен тысяч источников, таких как истории посещений веб‑сайтов, потоки событий баз данных, финансовые транзакции, ленты социальных сетей, ИТ‑журналы и потоки событий отслеживания местоположения. Собранные данные через доли секунды становятся доступными для приложений с использованием анализа в режиме реального времени, например для панелей управления или систем обнаружения аномалий в режиме реального времени, систем динамического ценообразования и других примеров использования.
Преимущества
Эффективная работа в режиме реального времени
В течение 70 миллисекунд с момента сбора потоковые данные становятся доступными для анализа в режиме реального времени с помощью различных приложений, сохранения в Amazon S3 или обработки с помощью AWS Lambda.
Надежность
Вероятность потери данных снижается. Сервис обеспечивает несколько уровней защиты от потери данных. Потоковые данные синхронно реплицируются в три зоны доступности в рамках региона AWS и хранятся до 365 дней.
Безопасность
Для обеспечения соответствия законодательным и нормативным требованиям можно шифровать конфиденциальные данные в KDS и использовать частный доступ к ним в рамках Amazon Virtual Private Cloud (VPC). При хранении данных можно использовать для их защиты шифрование на стороне сервера и главные ключи AWS KMS.
Простота использования
Быстро создать приложение для потоковой передачи помогут AWS SDK, библиотека Kinesis Client Library (KCL), коннекторы и агенты сервиса. Для быстрой обработки данных можно использовать встроенную интеграцию с сервисами AWS Lambda, Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose и AWS Glue Schema Registry.
Эластичность
Масштабировать приложения можно динамически. Потоки данных Kinesis могут масштабироваться от нескольких мегабайт до нескольких терабайт в час и выполнять как тысячи, так и миллионы записей PUT в секунду. Пропускную способность потока можно динамически регулировать в любое время в зависимости от объема входящих данных.
Низкая стоимость
Kinesis Data Streams не предусматривает авансовых платежей. Вы платите только за ресурсы, которые используете. Поток данных Kinesis со скоростью приема данных 1 МБ/с и скоростью передачи данных 2 МБ/с стоит всего 0,015 USD в час.
Принцип работы сервиса

Примеры использования
Сбор данных журналов и событий
Kinesis Data Streams можно использовать для сбора данных журналов и событий из таких источников, как серверы, стационарные компьютеры или мобильные устройства. Можно создавать приложения Kinesis, которые будут выполнять непрерывную обработку данных, генерировать метрики, работать с информационными панелями в режиме реального времени и передавать сводные данные в хранилища, например в Amazon S3.
Аналитика в режиме реального времени
В приложениях Kinesis можно выполнять аналитические вычисления в режиме реального времени, обрабатывая данные высокочастотных событий, например показания сенсоров, собираемые Kinesis Data Streams. Это дает возможность получать аналитическую информацию каждые несколько минут, а не часов или дней.
Захват данных мобильных приложений
Игровые данные
Kinesis Data Streams может непрерывно собирать данные о взаимодействии игроков с приложением и передавать их на игровую платформу. Используя данные о действиях и поведении игроков, собираемые Kinesis Data Streams, можно проектировать увлекательные динамичные игры.
Примеры использования




Публикации в блоге
Scale Amazon Kinesis Data Streams with AWS Application Auto Scaling
Джорджио Нобиле и Диего Натали, 20 ноября 2018 г.
Тристан Ли, 06 июля 2017 г.
Начать работу с Amazon Kinesis Data Streams

Подробнее о Kinesis Data Streams см. в руководстве для разработчиков.

Получите мгновенный доступ к уровню бесплатного пользования AWS.

Получите практический опыт работы с помощью этого учебного пособия.
Подробнее о возможностях Amazon Kinesis Data Streams