Amazon Kinesis
С помощью Amazon Kinesis можно просто собирать, обрабатывать и анализировать потоковые данные в режиме реального времени, чтобы своевременно получать аналитические результаты и быстро реагировать на новую информацию. Предоставляемые сервисом Amazon Kinesis основные возможности позволяют экономично обрабатывать потоковые данные в любом масштабе, а также обеспечивают гибкость при выборе инструментов, которые оптимально отвечают требованиям приложения. Amazon Kinesis дает возможность в режиме реального времени собирать такие данные, как видео‑ и аудиопотоки, журналы приложений, истории посещений веб‑сайта и телеметрические данные Интернета вещей для машинного обучения, анализа и других приложений. Amazon Kinesis позволяет обрабатывать и анализировать данные по мере поступления и реагировать мгновенно, а не ждать, пока все данные будут собраны, чтобы начать их обработку.
Преимущества
В режиме реального времени
Amazon Kinesis позволяет загружать, буферизировать и обрабатывать потоковые данные в режиме реального времени, благодаря чему клиент может получать аналитическую информацию спустя секунды или минуты вместо часов или дней.
Полное управление
Amazon Kinesis является полностью управляемым сервисом. Он запускает приложения потоковой передачи, не требуя от клиента управления какой‑либо инфраструктурой.
Масштабируемость
Amazon Kinesis может обрабатывать любое количество потоковых данных и получать данные из сотен тысяч источников с очень низкими задержками.
Возможности Amazon Kinesis
Захват, обработка и хранение видеопотоков
Сервис Amazon Kinesis Video Streams обеспечивает простую и безопасную потоковую передачу видео с подключенных устройств в AWS для анализа, машинного обучения (ML) и других видов обработки.
Захват, обработка и хранение потоков данных
Amazon Kinesis Data Streams – это масштабируемый и надежный сервис для потоковой передачи данных в реальном времени, который может обрабатывать гигабайты поступающих из сотен тысяч источников данных в секунду.
Загрузка потоковых данных в хранилища AWS
Amazon Kinesis Data Firehose обеспечивает самый простой способ захвата, трансформации и загрузки потоковых данных в хранилища AWS для анализа в режиме, близком к реальному времени, с использованием существующих инструментов бизнес‑аналитики.
Анализ потоковых данных с помощью SQL или Apache Flink
Amazon Kinesis Data Analytics обеспечивает простейший способ обработки потоков данных в режиме реального времени с помощью SQL или Apache Flink. Осваивать новые языки программирования или платформы обработки данных не требуется.
Принцип работы
-
Amazon Kinesis Video Streams
-
Amazon Kinesis Data Streams
-
Amazon Kinesis Data Firehose
-
Amazon Kinesis Data Analytics
-
Amazon Kinesis Video Streams
-
-
Amazon Kinesis Data Streams
-
-
Amazon Kinesis Data Firehose
-
-
Amazon Kinesis Data Analytics
-
Примеры использования
Создание приложений для анализа видео
Amazon Kinesis можно использовать для безопасной передачи в AWS видеопотоков с устройств, оснащенных видеокамерами и установленных в жилых домах, офисах, на заводах или в общественных местах. Такие видеопотоки можно использовать для воспроизведения, мониторинга безопасности, распознавания лиц, машинного обучения и других видов анализа.
Veritone Inc. (NASDAQ: VERI), ведущий поставщик когнитивных решений и решений в области искусственного интеллекта, предлагает мощный набор приложений, включающий более 120 лучших в своем классе когнитивных систем, в том числе для распознавания лиц и объектов, расшифровки аудиоматериалов, геолокации, обнаружения эмоций и языкового перевода. Используя Amazon Kinesis Video Streams, клиенты могут просто передавать свой контент в AWS, где Veritone обрабатывает и дополняет его с помощью AI в режиме, близком к реальному времени, при любом масштабе. В течение нескольких секунд после приема видео Kinesis Video Streams и Veritone делают каждый кадр видео и каждую секунду аудио доступными для поиска по объектам, лицам, брендам, ключевым словам и многим другим атрибутам.
Переход от пакетной аналитики к аналитике в режиме реального времени
С Amazon Kinesis можно в режиме реального времени анализировать данные, анализ которых традиционно выполнялся с помощью пакетной обработки. Типичные примеры использования потоковой передачи включают обмен данными между различными приложениями; извлечение, преобразование и загрузку потоковых данных; а также выполнение аналитики в режиме реального времени. Например, для непрерывной загрузки потоковых данных в озера данных S3 или сервисы аналитики можно использовать Kinesis Data Firehose.
Zillow использует Kinesis Data Streams для сбора общедоступных данных и предложений из базы данных недвижимости, а затем обновляет оценочную стоимость домов в режиме реального времени, поэтому покупатели и продавцы жилья могут получать самую свежую оценку стоимости дома. Кроме того, Zillow с помощью Kinesis Data Firehose отправляет эти данные в озеро данных Amazon S3, чтобы все приложения могли работать с самой свежей информацией.
Создавайте приложения для работы в режиме реального времени
Amazon Kinesis можно использовать в приложениях, работающих в режиме реального времени, например для мониторинга приложений, обнаружения мошенничества и формирования динамических рейтингов. Можно загружать потоковые данные с помощью Kinesis Data Streams, обрабатывать их с помощью Kinesis Data Analytics и передавать результаты в любое хранилище данных или приложение с помощью Kinesis Data Streams с совокупной задержкой на уровне миллисекунд. Это помогает узнавать, как ведут себя ваши клиенты, приложения и продукты прямо сейчас, и оперативно реагировать.
Компания Netflix использует Amazon Kinesis для мониторинга обмена информацией между всеми корпоративными приложениями, чтобы можно было быстро обнаруживать и исправлять проблемы, обеспечивая клиентам высокий уровень обслуживания и доступности.
Анализ данных устройств IoT
С помощью Amazon Kinesis можно обрабатывать потоковые данные, поступающие от устройств IoT, таких как бытовая техника, встроенные датчики или ресиверы цифрового телевидения. Если показания датчика превышают определенные пороговые значения, эти данные можно использовать для отправки предупреждений в режиме реального времени или выполнения запрограммированных действий. Наш образец кода для аналитики IoT можно использовать в своих приложениях. Начинать с нуля не придется.
Компания Sonos использует Amazon Kinesis для еженедельного мониторинга 1 миллиарда событий, происходящих на беспроводных Hi‑Fi‑аудиоустройствах, и обеспечивает улучшенное качество прослушивания для своих клиентов.
Публикации в блогах и статьи
В наших блогах опубликовано множество статей, в которых содержатся примеры использования и рекомендации, призванные помочь в использовании сервиса Amazon Kinesis с максимальной эффективностью. Полный перечень статей в блогах см. в перечисленных ниже ресурсах.
Ознакомьтесь со статьями Amazon Kinesis в новостном блоге AWS.
Рекомендации, описания функциональных возможностей и примеры использования клиентами в блоге AWS Big Data.
Читайте другие статьи об Amazon Kinesis в блоге о базах данных AWS.
Начать работу с Amazon Kinesis
Информацию об использовании возможностей Amazon Kinesis см. в этом техническом описании.
Получите мгновенный доступ к уровню бесплатного пользования AWS.
Создайте первое приложение, использующее сервис Amazon Kinesis, с помощью этого учебного пособия.
Подробнее об Amazon Kinesis