Amazon Kinesis
Простой сбор, обработка и анализ видеопотоков и потоковых данных в режиме реального времени
С помощью Amazon Kinesis можно просто собирать, обрабатывать и анализировать потоковые данные в режиме реального времени, чтобы своевременно получать аналитические результаты и быстро реагировать на новую информацию. Предоставляемые сервисом Amazon Kinesis основные возможности позволяют экономично обрабатывать потоковые данные в любом масштабе, а также обеспечивают гибкость при выборе инструментов, которые оптимально отвечают требованиям приложения. Amazon Kinesis дает возможность в режиме реального времени собирать такие данные, как видео‑ и аудиопотоки, журналы приложений, истории посещений веб‑сайта и телеметрические данные Интернета вещей для машинного обучения, анализа и других приложений. Amazon Kinesis позволяет обрабатывать и анализировать данные по мере поступления и реагировать мгновенно, а не ждать, пока все данные будут собраны, чтобы начать их обработку.
Преимущества
В режиме реального времени
Amazon Kinesis позволяет загружать, буферизировать и обрабатывать потоковые данные в режиме реального времени, благодаря чему клиент может получать аналитическую информацию спустя секунды или минуты вместо часов или дней.
Полное управление
Amazon Kinesis является полностью управляемым сервисом. Он запускает приложения потоковой передачи, не требуя от клиента управления какой‑либо инфраструктурой.
Масштабируемость
Amazon Kinesis может обрабатывать любое количество потоковых данных и получать данные из сотен тысяч источников с очень низкими задержками.
Возможности Amazon Kinesis
Захват, обработка и хранение видеопотоков
Сервис Amazon Kinesis Video Streams обеспечивает простую и безопасную потоковую передачу видео с подключенных устройств в AWS для анализа, машинного обучения и других видов обработки.
Захват, обработка и хранение потоков данных
Amazon Kinesis Data Streams – это масштабируемый и надежный сервис для потоковой передачи данных в реальном времени, который может обрабатывать гигабайты поступающих из сотен тысяч источников данных в секунду.
Загрузка потоковых данных в хранилища AWS
Amazon Kinesis Data Firehose обеспечивает самый простой способ захвата, трансформации и загрузки потоковых данных в хранилища AWS для анализа в режиме, близком к реальному времени, с использованием существующих инструментов бизнес‑аналитики.
Анализ потоковых данных с помощью SQL или Java
Amazon Kinesis Data Analytics обеспечивает простейший способ обработки потоков данных в режиме реального времени с помощью SQL или Java. Осваивать новые языки программирования или системы обработки данных не требуется.
Как это работает
Amazon Kinesis Video Streams
Amazon Kinesis Data Streams
Amazon Kinesis Data Firehose
Amazon Kinesis Data Analytics
Примеры использования
Создание приложений для анализа видео
Amazon Kinesis можно использовать для безопасной передачи в AWS видеопотоков с устройств, оснащенных видеокамерами и установленных в жилых домах, офисах, на заводах или в общественных местах. Такие видеопотоки можно использовать для воспроизведения, мониторинга безопасности, распознавания лиц, машинного обучения и других видов анализа.
Veritone Inc. (NASDAQ: VERI), ведущий поставщик когнитивных решений и решений в области искусственного интеллекта, предлагает мощный набор приложений, включающий более 120 лучших в своем классе когнитивных систем, в том числе для распознавания лиц и объектов, расшифровки аудиоматериалов, геолокации, обнаружения эмоций и языкового перевода. Используя Amazon Kinesis Video Streams, клиенты могут просто передавать свой контент в AWS, где Veritone обрабатывает и дополняет его с помощью AI в режиме, близком к реальному времени, при любом масштабе. В течение нескольких секунд после приема видео Kinesis Video Streams и Veritone делают каждый кадр видео и каждую секунду аудио доступными для поиска по объектам, лицам, брендам, ключевым словам и многим другим атрибутам.
Переход от пакетной аналитики к аналитике в режиме реального времени
С Amazon Kinesis можно в режиме реального времени анализировать данные, анализ которых традиционно выполнялся с помощью пакетной обработки в хранилищах данных или с использованием сред Hadoop. Наиболее распространенными примерами использования являются озера данных, анализ и обработка данных, а также машинное обучение. Для непрерывной загрузки потоковых данных в озера данных S3 можно использовать Kinesis Data Firehose. Кроме того, можно обновлять модели машинного обучения чаще, как только появляются новые данные, чтобы обеспечить точность и надежность выводов. Попробуйте учебное пособие »
Zillow использует Kinesis Data Streams для сбора общедоступных данных и предложений из базы данных недвижимости, а затем обновляет оценочную стоимость домов в режиме реального времени, поэтому покупатели и продавцы жилья могут получать самую свежую оценку стоимости дома. Кроме того, Zillow с помощью Kinesis Data Firehose отправляет эти данные в озеро данных S3, чтобы все приложения могли работать с самой свежей информацией. Ознакомиться с примером использования »
Создавайте приложения для работы в режиме реального времени
Amazon Kinesis можно использовать в приложениях, работающих в режиме реального времени, например для мониторинга приложений, обнаружения мошенничества и формирования динамических рейтингов. Можно загружать потоковые данные с помощью Kinesis Data Streams, обрабатывать их с помощью Kinesis Data Analytics и передавать результаты в любое хранилище данных или приложение с помощью Kinesis Data Streams с совокупной задержкой на уровне миллисекунд. Это помогает узнавать, как ведут себя ваши клиенты, приложения и продукты прямо сейчас, и оперативно реагировать. Дополнительную информацию см. в этом техническом описании »
Компания Netflix использует Amazon Kinesis для мониторинга обмена информацией между всеми корпоративными приложениями, чтобы можно было быстро обнаруживать и исправлять проблемы, обеспечивая клиентам высокий уровень обслуживания и доступности. Ознакомиться с примером использования »
Анализ данных устройств IoT
С помощью Amazon Kinesis можно обрабатывать потоковые данные, поступающие от устройств IoT, таких как бытовая техника, встроенные датчики или ресиверы цифрового телевидения. Если показания датчика превышают определенные пороговые значения, эти данные можно использовать для отправки предупреждений в режиме реального времени или выполнения запрограммированных действий. Наш образец кода для аналитики IoT можно использовать в своих приложениях. Начинать с нуля не придется. Загрузить образец кода »
Компания Sonos использует Amazon Kinesis для еженедельного мониторинга 1 миллиарда событий, происходящих на беспроводных Hi‑Fi‑аудиоустройствах, и обеспечивает улучшенное качество прослушивания для своих клиентов. Посмотреть семинар в рамках re:Invent »
Публикации в блогах и статьи
В наших блогах опубликовано множество статей, в которых содержатся примеры использования и рекомендации, призванные помочь в использовании сервиса Amazon Kinesis с максимальной эффективностью. Полный перечень статей в блогах см. в перечисленных ниже ресурсах.
Ознакомьтесь со статьями Amazon Kinesis в новостном блоге AWS.
Рекомендации, описания функциональных возможностей и примеры использования клиентами в блоге AWS Big Data.
Читайте другие статьи об Amazon Kinesis в блоге о базах данных AWS.
Начать работу с Amazon Kinesis
Читать техническое описание
Начать создание приложений для работы в режиме реального времени
Подробнее об Amazon Kinesis
