Amazon Kinesis позволяет легко собирать, обрабатывать и анализировать потоковые данные в режиме реального времени, чтобы вы могли своевременно получать результаты аналитики и быстро реагировать на новую информацию. Предоставляемые сервисом Amazon Kinesis основные возможности позволяют экономично обрабатывать потоковые данные в любом масштабе, а также обеспечивают гибкость при выборе инструментов, которые наилучшим образом отвечают требованиям приложения. С помощью Amazon Kinesis можно в режиме реального времени получать данные, такие как журналы приложений, данные навигации по веб-сайту, данные телеметрии IoT и многое другое, загружать их в базы данных, озера данных и хранилища данных или создавать с помощью этих данных собственные приложения, работающие в режиме реального времени.Amazon Kinesis позволяет обрабатывать и анализировать данные по мере их поступления и реагировать в режиме реального времени, а не ждать, пока все данные будут собраны и позволят начать их обработку.
Amazon Kinesis позволяет загружать, буферизировать и обрабатывать данные в режиме реального времени, поэтому клиент может получать аналитическую информацию через секунды или минуты вместо часов или дней.
Amazon Kinesis является полностью управляемым сервисом. Он запускает приложения потоковой передачи, не требуя от клиента управления какой-либо инфраструктурой.
Amazon Kinesis может обрабатывать любое количество потоковых данных и получать данные из сотен тысяч источников с очень низкими задержками.
Легко обрабатывайте и анализируйте потоковые данные с помощью стандартного языка SQL
Создавайте собственные приложения, которые обрабатывают и анализируют потоковые данные
С Amazon Kinesis можно в режиме реального времени анализировать данные, анализ которых традиционно выполнялся с помощью пакетной обработки в хранилищах данных или с использованием сред Hadoop. Наиболее распространенными случаями использования являются озера данных, анализ и обработка данных и машинное обучение. Можно использовать Kinesis Firehose для непрерывной загрузки данных потоковой передачи в озера данных S3. Можно также чаще обновлять модели машинного обучения по мере того, как становятся доступными новые данные, что обеспечивает точность и надежность выходных данных.
Zillow использует потоки Kinesis для сбора общедоступных данных и данных из базы данных недвижимости, а затем обновляет оценочную стоимость домов в режиме реального времени, поэтому покупатели и продавцы жилья могут получить самую свежую оценку стоимости дома. Кроме того, Zillow с помощью Kinesis Firehose отправляет эти данные в озеро данных S3, чтобы все приложения могли работать с самой свежей информацией. Ознакомиться с примером использования »
Компания Hearst создала решение для анализа истории посещений, используя Kinesis Streams, Kinesis Firehose и Amazon Elasticsearch Service для передачи и обработки 30 терабайт данных, ежедневно поступающих от более чем 300 веб-сайтов компании Hearst по всему миру. Использование этой платформы позволяет компании Hearst предоставлять редакторам доступ ко всему потоку данных – от действий пользователей на сайте до агрегированных данных – за считаные минуты. Ознакомиться с примером использования »
Amazon Kinesis можно использовать для приложений, работающих в режиме реального времени, например для мониторинга приложений, обнаружения мошенничества и динамических рейтингов. Можно загружать потоковые данные с помощью Kinesis Streams, обрабатывать их с помощью Kinesis Analytics и передавать результаты в любое хранилище данных или приложение с помощью Kinesis Streams со сквозными задержками на уровне миллисекунд. Это поможет узнать, что делают ваши клиенты, приложения и продукты прямо сейчас, и оперативно отреагировать.
Компания MLBAM создала свой сервис Statcast, используя Amazon Kinesis для анализа петабайтов данных каждый сезон и предоставления в режиме реального времени информации, которая помогает фанатам, организаторам вещания и командам лучше понимать динамику и атлетизм игр главной лиги бейсбола. Посмотреть видео »
Компания Netflix использует Amazon Kinesis для мониторинга обмена информацией между всеми корпоративными приложениями, чтобы можно было быстро обнаруживать и исправлять проблемы, обеспечивая клиентам высокий уровень обслуживания и доступности. Ознакомиться с примером использования »
С помощью Amazon Kinesis можно обрабатывать потоковые данные, поступающие от устройств IoT, таких как бытовая техника, встроенные датчики или ресиверы цифрового телевидения. Если показания датчика превысят определенные пороговые значения, эти данные можно использовать для отправки предупреждений в режиме реального времени или выполнения других запрограммированных действий.
Компания Sonos использует Amazon Kinesis для еженедельного мониторинга 1 миллиарда событий, происходящих на беспроводных Hi-Fi-аудиоустройствах, и обеспечивает лучшее качество прослушивания для своих клиентов. Посмотреть семинар в рамках re:Invent »
Компания Hello Inc. собирает и обрабатывает в режиме реального времени данные от датчиков, встроенных в матрацы, с помощью Kinesis Streams и использует Kinesis Firehose для загрузки обрабатываемой информации в Amazon Redshift. Клиенты Hello могут отслеживать режим своего сна, условия, которые влияют на сон, такие как температура и влажность в помещении, и в конечном итоге лучше спать. Ознакомиться с примером использования »
Информацию обо всех новых возможностях сервиса Amazon Kinesis см. на странице новых возможностей »
В 2016 году AWS представила стек EKK (Amazon Elasticsearch Service, Amazon Kinesis и Kibana, подключаемый модуль с открытым исходным кодом от Elastic) для загрузки и визуализации журналов Apache в качестве альтернативы стеку ELK (Amazon Elasticsearch Service, инструмент с открытым исходным кодом Logstash и Kibana). Одной из основных особенностей стека EKK является то, что преобразование данных выполняется с помощью агента Amazon Kinesis Firehose. В этой публикации мы рассказываем, как оптимизировать решение EKK за счет управления преобразованием данных в Amazon Kinesis Firehose с помощью AWS Lambda.
Вас хотелось бы иметь удобный инструмент для генерации тестовых данных и отправки их в Amazon Kinesis? Теперь такой инструмент есть: это Amazon Kinesis Data Generator (KDG).
Amazon Kinesis Firehose – полностью управляемый сервис передачи потоковых данных в целевые сервисы, такие как Amazon S3, Amazon Redshift и Amazon Elasticsearch Service (Amazon ES), в режиме реального времени. В данной публикации мы рассмотрим, как применить к потокам доставки возможности трансформации данных, чтобы легко трансформировать входящие исходные данные перед передачей.
В этой публикации мы показываем конвейер аналитики, который обнаруживает аномалии в потоке сетевого трафика в режиме реального времени, используя функцию сервиса Amazon Kinesis Analytics RANDOM_CUT_FOREST.
Полный список публикаций в блоге, посвященных Amazon Kinesis и анализу потоковых данных в режиме реального времени, см. на странице блога »
Начать работу с Amazon Kinesis очень просто. Просто зарегистрируйте аккаунт AWS, а если он у вас уже есть, войдите в Консоль управления AWS и запустите Amazon Kinesis.
