Amazon Kinesis Data Streams

Сбор потоковых данных в любом масштабе для аналитики в режиме реального времени

Amazon Kinesis Data Streams (KDS) – это надежный сервис для потоковой передачи данных в режиме реального времени с широкими возможностями масштабирования. KDS может непрерывно выполнять сбор данных со скоростью несколько гигабайт в секунду из сотен тысяч источников, таких как истории посещений веб-сайтов, потоки событий баз данных, финансовые транзакции, ленты социальных сетей, ИТ-журналы и потоки событий отслеживания местоположения. Собранные данные через доли секунды становятся доступными для приложений с использованием анализа в режиме реального времени, например для панелей управления или систем обнаружения аномалий в режиме реального времени, динамического ценообразования и других примеров использования.

Запросить поддержку в оценке или создании опытного образца »

Видео: What is Amazon Kinesis Data Streams?

Преимущества

Эффективная работа в режиме реального времени

В течение 70 миллисекунд с момента сбора потоковые данные становятся доступными для анализа в режиме реального времени с помощью различных приложений, для сохранения в Amazon S3 или обработки с помощью AWS Lambda.

Надежность

Вероятность потери данных снижается. За счет синхронной репликации потоковых данных в три ЦОД в рамках региона AWS и их хранения до семи дней сервис обеспечивает несколько уровней защиты от потерь данных.

Безопасность

Соответствие законодательным и нормативным требованиям можно обеспечить за счет шифрования конфиденциальных данных в KDS и организации частного доступа к ним в рамках Amazon Virtual Private Cloud (VPC). При хранении данных можно использовать для их защиты шифрование на стороне сервера и главные ключи AWS KMS.

Простота использования

Быстро создать приложение для потоковой передачи поможет AWS SDK, библиотека Kinesis Client Library (KCL), коннекторы и агенты сервиса. Для быстрой обработки данных можно использовать встроенную интеграцию с сервисами AWS Lambda, Amazon Kinesis Data Analytics и Amazon Kinesis Data Firehose.

Эластичность

Масштабировать приложения можно динамически. Потоки данных Kinesis могут масштабироваться от нескольких мегабайт до нескольких терабайт в час и выполнять как тысячи, так и миллионы записей PUT в секунду. Пропускную способность потока можно динамически регулировать в любое время в зависимости от объема входящих данных.

Низкая стоимость

Kinesis Data Streams не предусматривает авансовых платежей. Вы платите только за ресурсы, которые используете. Поток данных Kinesis со скоростью приема данных 1 МБ/с и скоростью передачи данных 2 МБ/с стоит всего 0,015 USD за час.

Как работает сервис

diagram-how-it-works-kinesis-data-streams

Примеры использования

Сбор данных журналов и событий

Kinesis Data Streams можно использовать для сбора данных журналов и событий из таких источников, как серверы, стационарные компьютеры или мобильные устройства. Можно создавать приложения Kinesis, которые будут выполнять непрерывную обработку данных, генерировать метрики, работать с информационными панелями в режиме реального времени и передавать сводные данные в хранилища, например в Amazon S3.

Аналитика в режиме реального времени

В приложениях Kinesis можно выполнять аналитические вычисления в режиме реального времени, обрабатывая данные высокочастотных событий, например показания сенсоров, собираемые Kinesis Data Streams. Это дает возможность получать аналитическую информацию каждые несколько минут, а не часов или дней.

Захват данных мобильных приложений

Мобильные приложения могут передавать данные в Kinesis Data Streams с сотен тысяч устройств. Данные будут доступны сразу же после их создания мобильными устройствами.

Подробнее об интеграции Kinesis Data Streams и AWS Mobile SDK (iOS | Android)

Игровые данные

Kinesis Data Streams может непрерывно собирать данные о взаимодействии игроков с приложением и передавать их на игровую платформу. Используя данные о действиях и поведении игроков, собираемые Kinesis Data Streams, можно проектировать увлекательные динамичные игры.