Amazon Kinesis Data Firehose

Подготовка и загрузка потоков данных в режиме реального времени в хранилища и инструменты аналитики

Amazon Kinesis Data Firehose предоставляет простейший способ надежной загрузки потоковых данных в хранилища и инструменты аналитики. Этот сервис позволяет захватывать, преобразовывать и загружать потоковые данные в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk, а затем в режиме, близком к реальному времени, выполнять их анализ с помощью уже имеющихся инструментов бизнес-аналитики и панелей управления. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности и не требует текущего администрирования. Amazon Kinesis Firehose позволяет создавать пакеты данных, а также сжимать, преобразовывать и шифровать данные перед загрузкой, что сокращает объем памяти, используемый в целевом местоположении, и повышает уровень безопасности.

С помощью Консоли управления AWS можно создать поток доставки данных Firehose, настроить его за несколько щелчков мышью и запустить передачу данных из сотен тысяч источников, которые будут непрерывно загружаться в AWS. Весь процесс настройки займет считаные минуты. Кроме того, можно настроить в потоке доставки автоматическое преобразование входящих данных до того, как они будут доставлены в Amazon S3, в столбцовые форматы, такие как Apache Parquet и Apache ORC, для обеспечения экономичного хранения и анализа.

При использовании Kinesis Data Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Минимальные платежи и плата за настройку отсутствуют.

Видео: What is Amazon Kinesis Data Firehose?

Преимущества

Простота использования

Amazon Kinesis Data Firehose позволяет захватывать, преобразовывать и загружать потоковые данные за несколько щелчков мышью в Консоли управления AWS. Просто создайте поток доставки данных Firehose, выберите целевое расположение и запустите передачу данных в режиме реального времени сразу из сотен тысяч источников. Сервис автоматически управляет характеристиками потока, в том числе процессами масштабирования, сегментирования и мониторинга, необходимые для последовательной загрузки данных в целевые расположения с заданными интервалами.

Интеграция с хранилищами данных AWS

Сервис Amazon Kinesis Data Firehose интегрирован с Amazon S3, Amazon Redshift и Amazon Elasticsearch. С помощью Консоли управления AWS можно настроить Kinesis Data Firehose на отправку данных в корзину S3, таблицу Amazon Redshift или домен Amazon Elasticsearch. После этого данные потоковой передачи можно анализировать в существующих аналитических приложениях и инструментах.

Бессерверное преобразование данных

Amazon Kinesis Data Firehose позволяет подготавливать потоковые данные перед загрузкой в хранилища данных. С помощью Kinesis Data Firehose можно просто преобразовывать необработанные потоковые данные, поступающие из источников данных, в форматы, необходимые для целевых хранилищ данных, без необходимости создания собственных конвейеров обработки данных. Подробнее »

В режиме, близком к реальному времени

Amazon Kinesis Data Firehose позволяет захватывать и загружать данные в режиме, близком к реальному времени. Данные, отправленные в этот сервис, загружаются в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk в течение 60 секунд. В результате вы можете оперативно получать доступ к новым данным и быстро реагировать на события, связанные с бизнесом и управлением.

Без постоянного администрирования

Amazon Kinesis Data Firehose – это полностью управляемый сервис, который автоматически выделяет и масштабирует вычислительные, сетевые ресурсы и память, необходимые для загрузки потоковых данных, а также осуществляет управление ими. Достаточно один раз задать параметры Kinesis Data Firehose, и этот сервис будет непрерывно загружать поступающие данные.

Платите только за то, чем пользуетесь

При использовании Amazon Kinesis Data Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Минимальные платежи и авансовые обязательства отсутствуют.

Как работает сервис

diagram-how-it-works-kinesis-data-firehose-splunk

Примеры использования

IoT Analytics

Amazon Kinesis Data Firehose позволяет осуществлять непрерывный захват данных с подключенных устройств, таких как бытовые приборы, встроенные датчики и ресиверы цифрового телевидения. Kinesis Data Firehose загружает данные в Amazon S3 и Amazon Redshift, обеспечивая конечным клиентам доступ к метрикам, аналитическим данным и панелям управления в режиме, близком к реальному времени.


Анализ истории посещений

Amazon Kinesis Data Firehose можно использовать для доставки метрик цифрового контента в режиме реального времени, что позволяет маркетологам повысить эффективность взаимодействия с клиентами. Миллиарды небольших сообщений сжимаются, шифруются и передаются в Amazon Elasticsearch Service и Amazon Redshift посредством настраиваемого потока. Поступившие данные можно объединять, фильтровать и обрабатывать, что позволяет обновлять данные на панелях управления эффективностью контента в режиме, близком к реальному времени. К примеру, платформа анализа истории посещений, созданная корпорацией Hearst, использует Kinesis Data Firehose для передачи и обработки 30 терабайт данных, ежедневно поступающих более чем с 300 веб-сайтов по всему миру. С помощью этой платформы компания Hearst предоставляет редакторам доступ ко всему потоку данных – от действий пользователей на сайте до агрегированных метрик – за считаные минуты. Ознакомиться с примером использования »


Анализ журналов

Данные журналов приложений и серверов, работающих локально и в облаке, помогают отслеживать работу приложений и оперативно устранять неполадки. Например, сбор, мониторинг и анализ данных журналов позволяет обнаруживать ошибки в работе приложений в момент их возникновения и выявлять их причины. Агент Amazon Kinesis просто установить на сервер и настроить для автоматического мониторинга файлов журналов приложений и сервера с последующей отправкой собранных данных в Kinesis Data Firehose. Kinesis Data Firehose непрерывно передает данные журналов в Amazon Elasticsearch Service, что позволяет визуализировать и анализировать полученные данные с помощью платформы Kibana. 


Мониторинг безопасности

Kinesis Data Firehose поддерживает Splunk в качестве целевого объекта. Это означает, что можно захватывать и пересылать журналы сетевого трафика в сервис Kinesis Data Firehose, который, в свою очередь, будет преобразовывать их, систематизировать и загружать в Splunk. Такое решение позволяет отслеживать состояние сетевой безопасности в режиме реального времени и своевременно поднимать тревогу при возникновении потенциальных угроз.

Публикации в блоге

Stream your data into your Aurora PostgreSQL database

Ганеш Раджа
11 января 2018 г.

Unite real-time and batch analytics

Лейт Аль-Саадон
8 сентября 2017 г.

Stream your data from Amazon DynamoDB to Amazon Aurora

Аравинд Кодандарамайя
4 мая 2017 г.

Easy data ingestion into Splunk

Тарик Макота и Рой Арсан
18 декабря 2017 г.

Serverless scaling for ingesting, aggregating, and visualizing Apache logs

Пубали Сен и Шанкар Рамачандран
31 мая 2017 г.

Visualize and refine your network’s security

Гай Денней
3 мая 2017 г.

Начать работу с Amazon Kinesis Data Firehose

icon1

Зарегистрировать аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.
icon2

Ознакомиться с руководством для разработчиков

Узнайте о Kinesis Data Firehose из  руководства для разработчиков.
icon3

Начать передачу данных

Получите практический опыт работы с помощью этого учебного пособия.

Подробнее о возможностях Amazon Kinesis Data Firehose

Перейти на страницу с описанием возможностей
Готовы начать работу?
Регистрация
Есть вопросы?
Свяжитесь с нами