Что такое потоковая передача данных в режиме реального времени?
Потоковая передача данных в режиме реального времени включает сбор и получение последовательности данных из различных источников. Кроме того, такие данные также оперативно обрабатываются, что дает возможность извлекать значение и аналитические сведения.
Примеры потоковых данных: файлы журналов, генерируемые пользователями мобильных или интернет-приложений, покупки в интернет-магазинах, действия игроков в играх, информация из социальных сетей, финансовых торговых площадок и геопространственных сервисов, а также телеметрические данные, полученные от подключенных устройств или оборудования в центрах обработки данных.
Потоковая передача данных в режиме реального времени дает возможность оперативно анализировать и обрабатывать данные вместо того, чтобы ждать ответов в течение нескольких часов, дней или даже недель.
Из чего состоит передача данных в режиме реального времени?
Источник. Сотни и тысячи устройств или приложений, которые производят большие объемы непрерывных данных с высокой скоростью. Примерами могут служить мобильные устройства, веб-приложения (история посещений), журналы приложений, датчики Интренета вещей, смарт-устройства и игровые приложения.
Получение потоковых данных. Простая интеграция с более чем 15 сервисами AWS (Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch и другими) дает возможность надежно и безопасно осуществлять непрерывный сбор данных, поступающих от тысяч устройств.
Хранилище потоковых данных. Выберите решение, отвечающее вашим потребностям в хранении данных с учетом требований к масштабированию, задержкам и обработке, например Потоки данных Amazon Kinesis, Данные Amazon Kinesis Firehose и Управляемая потоковая передача Amazon для Apache Kafka (Amazon MSK).
Обработка потоковых данных. Выберите один из множества сервисов, от решений для преобразования и непрерывной передачи данных в несколько щелчков мышью в такие места, как Данные Amazon Kinesis Firehose, до работающих в режиме реального времени мощных специализированных приложений и интеграций машинного обучения с применением таких сервисов, как Управляемый сервис Amazon для Apache Flink и AWS Lambda.
Место назначения. Передавайте потоковые данные в ряд полностью интегрированных озер данных, хранилищ данных и аналитических сервисов для дальнейшего анализа или длительного хранения, таких как Amazon S3, Amazon Redshift, Сервис Amazon OpenSearch и Amazon EMR.
Каковы примеры использования потоковой передачи данных в режиме реального времени?
Перемещение данных в режиме реального времени
Потоковая передача данных с сотен тысяч устройств и выполнение ETL-преобразований при больших объемах непрерывных и высокоскоростных данных в режиме реального времени дают пользователям возможность осуществлять анализ данных сразу после их получения, а затем длительное время хранить их в озере данных, хранилище данных или базе данных для дальнейшего анализа.
Узнайте, как WalkMe преодолевает проблемы секвенирования при передаче данных в озеро данных
Узнайте, как John Deere выполняет потоковую передачу ETL в озеро данных в режиме реального времени
Аналитика в режиме реального времени
Анализируйте данные сразу после их получения и принимайте решения в масштабах организации в режиме реального времени, чтобы реализовать открывающиеся возможности, улучшить качество обслуживания клиентов, предотвратить сбои в работе сети или оперативно обновлять критически важные показатели деятельности.
Журналы. Собирайте, обрабатывайте и анализируйте журналы приложений в режиме реального времени.
Ознакомьтесь с возможностями анализа поведения пользователей в режиме реального времени
Узнайте, как анализировать и визуализировать сетевой трафик VPC
Узнайте, как управлять централизованными журналами сервера Microsoft Exchange
Подробнее об аналитике журналов »
Обновления в режиме реального времени. Привлекайте потребителей, геймеров, финансовых трейдеров и других пользователей, обеспечивая оперативное обновление важнейших показателей для принятия решений, рекомендаций и данных о взаимодействии с клиентами.
Узнайте, как порадовать геймеров за счет аналитики игр в режиме реального времени
Узнайте, как сообщать актуальные персонализированные новости в режиме реального времени
История посещений. Получите представление о производительности вашего интернет-контента и взаимодействии пользователей с вашими приложениями и веб-сайтами в режиме реального времени, в том числе об их поведении, затраченном времени, популярном контенте и других показателях.
Интернет вещей. Подключайтесь к сотням тысяч устройств Интернета вещей, собирайте, обрабатывайте и анализируйте потоковые данные в режиме реального времени.
Потоковая обработка событий
Фиксируйте события и оперативно реагируйте на них по мере возникновения в различных приложениях. Наиболее распространенные варианты использования – взаимодействие между сотнями изолированных микросервисов и ведение системы регистрации за счет сбора данных об изменениях.
Взаимодействие между изолированными микросервисами. При срабатывании любого микросервиса событие может отправляться в поток данных в режиме реального времени, и другие микросервисы могут «наблюдать» за потоком, чтобы определить, произошло ли какое-либо событие, инициирующее требуемое действие.
Узнайте, как Lyft обменивается данными между сотнями микросервисов в режиме реального времени
Сбор данных об изменениях. Все изменения данных в нескольких приложениях и базах данных могут в режиме реального времени передаваться в центральную систему регистрации.
Узнайте, как загрузить собранные данные об изменениях из реляционных баз данных
Узнайте, как выполнять потоковую передачу собранных данных об изменениях в режиме реального времени
Какие сервисы потоковой передачи данных доступны на базе AWS?
AWS предоставляет несколько вариантов работы с потоковыми данными в реальном времени.
- Потоки данных Amazon Kinesis – это масштабируемый и надежный сервис для потоковой передачи данных в реальном времени, который может ежесекундно обрабатывать гигабайты данных, поступающих из сотен тысяч источников.
- Данные Amazon Kinesis Firehose дают возможность всего в несколько кликов захватывать, преобразовывать и загружать потоки данных в хранилища данных AWS для анализа в режиме, близком к реальному времени, с помощью существующих инструментов бизнес-аналитики.
- Управляемый сервис Amazon для Apache Flink преобразует и анализирует потоковые данные в реальном времени с помощью Apache Flink, платформы с открытым исходным кодом и механизма для обработки потоков данных.
- Управляемая потоковая передача Amazon для Apache Kafka – это полностью управляемый сервис, который упрощает создание и запуск приложений, использующих Apache Kafka для обработки потоковых данных.
Создайте аккаунт и начните потоковую передачу данных в реальном времени на базе AWS уже сегодня.
AWS: дальнейшие шаги
Получите мгновенный доступ к уровню бесплатного пользования AWS.
