Amazon Kinesis Data Firehose

Подготовка и загрузка потоков данных в режиме реального времени в хранилища и инструменты аналитики

Amazon Kinesis Data Firehose предоставляет простейший способ надежной загрузки данных потоковой передачи в хранилища и инструменты аналитики. Этот сервис позволяет захватывать, преобразовывать и загружать данные потоковой передачи в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk, а затем в режиме, близком к реальному времени, выполнять их анализ с помощью уже имеющихся инструментов бизнес‑аналитики и панелей управления. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности и не требует постоянного администрирования. Amazon Kinesis Firehose позволяет создавать пакеты данных, а также сжимать, преобразовывать и шифровать данные перед загрузкой, что сокращает объем памяти, используемый в целевом местоположении, и повышает уровень безопасности.

С помощью Консоли управления AWS можно создать поток доставки данных Firehose, настроить его за несколько щелчков мышью и запустить передачу данных из сотен тысяч источников, которые будут непрерывно загружаться в AWS. Весь процесс настройки занимает считаные минуты. Кроме того, можно настроить в потоке доставки автоматическое преобразование входящих данных в столбцовые форматы, такие как Apache Parquet и Apache ORC, до их доставки в Amazon S3 для обеспечения экономичного хранения и анализа.

При использовании Kinesis Data Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Минимальные платежи и плата за настройку отсутствуют.

Видео. What is Amazon Kinesis Data Firehose?

Преимущества

Простота использования

Amazon Kinesis Data Firehose позволяет захватывать, преобразовывать и загружать данные потоковой передачи за несколько щелчков мышью в Консоли управления AWS. Просто создайте поток доставки данных Firehose, выберите целевое расположение и запустите передачу данных в режиме реального времени сразу из сотен тысяч источников. Сервис автоматически управляет потоком данных, в том числе масштабированием, сегментированием и мониторингом, необходимыми для последовательной загрузки данных в целевые расположения с заданными интервалами.

Интеграция с хранилищами данных AWS

Сервис Amazon Kinesis Data Firehose интегрирован с Amazon S3, Amazon Redshift и Amazon Elasticsearch Service. С помощью Консоли управления AWS можно настроить Kinesis Data Firehose на отправку данных в корзину Amazon S3, таблицу Amazon Redshift или домен Amazon Elasticsearch. После этого данные потоковой передачи можно анализировать в существующих приложениях и инструментах для аналитики.

Бессерверное преобразование данных

Amazon Kinesis Data Firehose позволяет подготавливать данные потоковой передачи перед их загрузкой в хранилища данных. С помощью Kinesis Data Firehose можно просто преобразовывать необработанные данные потоковой передачи, поступающие из источников данных, в форматы, необходимые для целевых хранилищ данных, без необходимости создания собственных конвейеров обработки данных. Подробнее »

В режиме, близком к реальному времени

Amazon Kinesis Data Firehose позволяет захватывать и загружать данные в режиме, близком к реальному времени. Данные, отправленные в этот сервис, загружаются в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk в течение 60 секунд. В результате вы можете оперативно получать доступ к новым данным и быстро реагировать на события, связанные с бизнесом и управлением.

Без постоянного администрирования

Amazon Kinesis Data Firehose – это полностью управляемый сервис, который автоматически выделяет и масштабирует вычислительные, сетевые ресурсы и память, необходимые для загрузки данных потоковой передачи, а также осуществляет управление ими. Достаточно один раз задать параметры Kinesis Data Firehose, и этот сервис будет непрерывно загружать поступающие данные.

Оплата по факту использования

При использовании Amazon Kinesis Data Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Минимальные платежи и авансовые обязательства отсутствуют.

Как это работает

product-page-diagram_Amazon-Kinesis-Data-Firehose

Примеры использования

Аналитика в сфере Интернета вещей

Amazon Kinesis Data Firehose позволяет непрерывно собирать данные с подключенных устройств, таких как бытовые приборы, встроенные датчики и ресиверы цифрового телевидения. Kinesis Data Firehose загружает данные в Amazon S3 и Amazon Redshift, обеспечивая конечным клиентам доступ к метрикам, аналитическим данным и панелям управления в режиме, близком к реальному времени.


Анализ истории посещений

Amazon Kinesis Data Firehose можно использовать для доставки метрик цифрового контента в режиме реального времени, что позволяет маркетологам повысить эффективность взаимодействия с клиентами. Миллиарды небольших сообщений сжимаются, шифруются и передаются в Amazon Elasticsearch Service и Amazon Redshift посредством настраиваемого потока. Поступившие данные можно объединять, фильтровать и обрабатывать, что позволяет обновлять данные на панелях управления эффективностью контента в режиме, близком к реальному времени. К примеру, платформа анализа истории посещений, созданная издательской корпорацией Hearst, использует Kinesis Data Firehose для передачи и обработки 30 терабайт данных, ежедневно поступающих более чем с 300 веб‑сайтов по всему миру. С помощью этой платформы компания Hearst предоставляет редакторам доступ ко всему потоку данных за считаные минуты – от действий пользователей на сайте до агрегированных метрик. Ознакомиться с примером использования »


Анализ журналов

Данные журналов приложений и серверов, работающих локально и в облаке, помогают выполнять мониторинг работы приложений и оперативно устранять неполадки. Например, сбор, мониторинг и анализ данных журналов позволяет обнаруживать ошибки в работе приложений в момент их возникновения и выявлять их причины. Агент Amazon Kinesis просто установить на сервер и настроить для автоматического мониторинга файлов журналов приложений и сервера с последующей отправкой собранных данных в Kinesis Data Firehose. Kinesis Data Firehose непрерывно передает данные журналов в Amazon Elasticsearch Service, что позволяет визуализировать и анализировать полученные данные с помощью платформы Kibana. 


Мониторинг безопасности

Kinesis Data Firehose поддерживает Splunk в качестве целевого объекта. Это означает, что можно захватывать и пересылать журналы сетевого трафика в сервис Kinesis Data Firehose, который, в свою очередь, будет преобразовывать их, систематизировать и загружать в Splunk. Такое решение обеспечивает мониторинг сетевой безопасности в режиме реального времени и своевременное предупреждение при возникновении потенциальных угроз.

Публикации в блоге

Stream your data into your Aurora PostgreSQL database

Ганеш Раджа
11 января 2018 г.

Unite real‑time and batch analytics

Лейт Аль‑Саадун
8 сентября 2017 г.

Stream your data from Amazon DynamoDB to Amazon Aurora

Аравинд Кодандарамайя
4 мая 2017 г.

Easy data ingestion into Splunk

Тарик Макота и Рой Арсан
18 декабря 2017 г.

Serverless scaling for ingesting, aggregating, and visualizing Apache logs

Пубали Сен и Шанкар Рамачандран
31 мая 2017 г.

Visualize and refine your network’s security

Гай Денней
3 мая 2017 г.

Начало работы с Amazon Kinesis Data Firehose

icon1

Зарегистрируйте аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.
icon2

Ознакомьтесь с руководством для разработчиков

Узнайте о Kinesis Data Firehose из  руководства для разработчиков.
icon3

Начните потоковую передачу данных

Получите практический опыт работы с помощью этого учебного пособия.

Подробнее о возможностях Amazon Kinesis Data Firehose

Перейти на страницу с описанием возможностей
Готовы начать работу?
Регистрация
Есть вопросы?
Свяжитесь с нами