Amazon Kinesis Data Streams – Сервис потоковой передачи данных

Amazon Kinesis Data Streams (KDS) – это надежный сервис для потоковой передачи данных в режиме реального времени с широкими возможностями масштабирования. KDS может непрерывно выполнять сбор данных со скоростью несколько гигабайт в секунду из сотен тысяч источников, таких как истории посещений веб‑сайтов, потоки событий баз данных, финансовые транзакции, ленты социальных сетей, ИТ‑журналы и потоки событий отслеживания местоположения. Собранные данные через доли секунды становятся доступными для приложений с использованием анализа в режиме реального времени, например для панелей управления или систем обнаружения аномалий в режиме реального времени, систем динамического ценообразования и других примеров использования.

Запросить поддержку в оценке или создании опытного образца »

What is Amazon Kinesis Data Streams? (2:08)

Преимущества

Эффективная работа в режиме реального времени

В течение 70 миллисекунд с момента сбора потоковые данные становятся доступными для анализа в режиме реального времени с помощью различных приложений, сохранения в Amazon S3 или обработки с помощью AWS Lambda.

Надежность

Вероятность потери данных снижается. Сервис обеспечивает несколько уровней защиты от потери данных. Потоковые данные синхронно реплицируются в три зоны доступности в рамках региона AWS и хранятся до 365 дней.

Безопасность

Для обеспечения соответствия законодательным и нормативным требованиям можно шифровать конфиденциальные данные в KDS и использовать частный доступ к ним в рамках Amazon Virtual Private Cloud (VPC). При хранении данных можно использовать для их защиты шифрование на стороне сервера и главные ключи AWS KMS.

Простота использования

Быстро создать приложение для потоковой передачи помогут AWS SDK, библиотека Kinesis Client Library (KCL), коннекторы и агенты сервиса. Для быстрой обработки данных можно использовать встроенную интеграцию с сервисами AWS Lambda, Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose и AWS Glue Schema Registry.

Эластичность

Масштабировать приложения можно динамически. Потоки данных Kinesis могут масштабироваться от нескольких мегабайт до нескольких терабайт в час и выполнять как тысячи, так и миллионы записей PUT в секунду. Пропускную способность потока можно динамически регулировать в любое время в зависимости от объема входящих данных.

Низкая стоимость

Kinesis Data Streams не предусматривает авансовых платежей. Вы платите только за ресурсы, которые используете. Поток данных Kinesis со скоростью приема данных 1 МБ/с и скоростью передачи данных 2 МБ/с стоит всего 0,015 USD в час.

Принцип работы сервиса

Принцип работы Amazon Kinesis Data Streams

Примеры использования

Сбор данных журналов и событий

Kinesis Data Streams можно использовать для сбора данных журналов и событий из таких источников, как серверы, стационарные компьютеры или мобильные устройства. Можно создавать приложения Kinesis, которые будут выполнять непрерывную обработку данных, генерировать метрики, работать с информационными панелями в режиме реального времени и передавать сводные данные в хранилища, например в Amazon S3.

Аналитика в режиме реального времени

В приложениях Kinesis можно выполнять аналитические вычисления в режиме реального времени, обрабатывая данные высокочастотных событий, например показания сенсоров, собираемые Kinesis Data Streams. Это дает возможность получать аналитическую информацию каждые несколько минут, а не часов или дней.

Захват данных мобильных приложений

Мобильные приложения могут передавать данные в Kinesis Data Streams с сотен тысяч устройств. Данные будут доступны сразу же после их создания мобильными устройствами.

Подробнее об интеграции Kinesis Data Streams и AWS Mobile SDK (iOS | Android)

Игровые данные

Kinesis Data Streams может непрерывно собирать данные о взаимодействии игроков с приложением и передавать их на игровую платформу. Используя данные о действиях и поведении игроков, собираемые Kinesis Data Streams, можно проектировать увлекательные динамичные игры.

Примеры использования

Компания Netflix использует Kinesis для мониторинга обмена информацией между всеми корпоративными приложениями, чтобы быстро обнаруживать и исправлять проблемы. Это обеспечивает клиентам компании высокий уровень доступности и бесперебойную работу сервиса. Ознакомиться с примером использования.

Ознакомиться с примером использования

Zillow использует Kinesis Data для сбора общедоступных данных и сведений из базы данных недвижимости, а затем обновляет оценочную стоимость домов в режиме реального времени, поэтому покупатели и продавцы жилья получают самую свежую оценку стоимости дома. Ознакомиться с примером использования.

Ознакомиться с примером использования

В Thomson Reuters разработали решение с использованием Amazon Kinesis, чтобы получать аналитическую информацию на основе реакции на предложения компании и постоянно повышать качество обслуживания клиентов. Ознакомиться с примером использования.

Ознакомиться с примером использования

Компания Hearst создала решение для анализа истории посещений, используя Amazon Kinesis для передачи и обработки 30 ТБ данных, ежедневно поступающих более чем с 300 веб‑сайтов компании Hearst по всему миру. Ознакомиться с примером использования.

Ознакомиться с примером использования