Amazon Kinesis Data Firehose

Подготовка и загрузка потоков данных в режиме реального времени в хранилища и сервисы аналитики.

Amazon Kinesis Data Firehose предоставляет простейший способ надежной загрузки данных потоковой передачи в озера данных, хранилища и сервисы аналитики. Этот сервис позволяет захватывать, преобразовывать и доставлять данные потоковой передачи в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, на общие HTTP‑адреса и поставщикам таких сервисов, как Datadog, New Relic, MongoDB и Splunk. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности потока данных и не требует постоянного администрирования. Amazon Kinesis Data Firehose позволяет создавать пакеты данных, а также сжимать, преобразовывать и шифровать потоки данных перед загрузкой, что сокращает объем используемой памяти и повышает уровень безопасности.

Всего за несколько минут с помощью Консоли управления AWS можно создать поток доставки данных Firehose и запустить передачу данных из сотен тысяч источников в указанные целевые объекты. Кроме того, в потоках данных можно настроить автоматическое преобразование входящих данных в открытые и основанные на стандартах форматы, такие как Apache Parquet и Apache ORC, перед доставкой.

В Amazon Kinesis Data Firehose не предусмотрена плата за настройку и нет минимальных платежей. Вы платите только за объем данных, переданных через сервис, а также за преобразование формата данных и за доставку и передачу данных через Amazon VPC, если эти возможности используются.

Запросить поддержку в оценке или создании опытного образца »
What is Amazon Kinesis Data Firehose? (1:45)

Преимущества

Простота использования

Amazon Kinesis Data Firehose позволяет захватывать, преобразовывать и загружать данные потоковой передачи за несколько щелчков мышью в Консоли управления AWS. Вы можете быстро создать поток доставки данных Firehose, выбрать целевое расположение и запустить передачу данных в режиме реального времени сразу из сотен тысяч источников. Сервис автоматически управляет потоком данных, в том числе масштабированием, сегментированием и мониторингом, необходимыми для последовательной загрузки данных в целевые расположения с заданными интервалами.

Интеграция с сервисами AWS и поставщиками сервисов

Сервис Amazon Kinesis Data Firehose интегрирован с Amazon S3, Amazon Redshift и Amazon Elasticsearch Service. Он также позволяет доставлять данные на общие HTTP‑адреса и непосредственно поставщикам таких сервисов, как Datadog, New Relic, MongoDB и Splunk. С помощью Консоли управления AWS можно указать для Kinesis Data Firehose целевые объекты на выбор и использовать существующие приложения и инструменты для анализа потоковых данных.

Бессерверное преобразование данных

Amazon Kinesis Data Firehose позволяет подготавливать данные потоковой передачи перед их загрузкой в хранилища данных. С помощью Kinesis Data Firehose можно просто преобразовывать необработанные данные потоковой передачи, поступающие из источников данных, в форматы, необходимые для целевых хранилищ данных (таких как Apache Parquet и Apache ORC), без необходимости создания собственных конвейеров обработки данных. Подробнее »

Почти в режиме реального времени

Amazon Kinesis Data Firehose позволяет захватывать и загружать данные в режиме, близком к реальному времени. Данные, отправленные в этот сервис, загружаются в целевые объекты в течение 60 секунд. В результате вы можете оперативно получать доступ к новым данным и быстро реагировать на события, связанные с бизнесом и управлением.

Без постоянного администрирования

Amazon Kinesis Data Firehose – это полностью управляемый сервис, который автоматически выделяет и масштабирует вычислительные, сетевые ресурсы и память, необходимые для обработки и загрузки данных потоковой передачи, а также осуществляет управление ими. Достаточно один раз задать параметры Kinesis Data Firehose, и этот сервис будет непрерывно загружать поступающие данные в целевые объекты.

Оплата по факту использования

При использовании Amazon Kinesis Data Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Кроме того, при необходимости оплачивается доставка и передача данных через Amazon VPC. Минимальные платежи и авансовые обязательства отсутствуют.

Принцип работы сервиса

Принцип работы сервиса Amazon Kinesis Data Firehose

Примеры использования

Amazon Kinesis Data Firehose предоставляет простейший способ надежной загрузки данных потоковой передачи в озера данных, хранилища и инструменты аналитики. Ниже приводятся основные примеры использования Amazon Kinesis Data Firehose для решения задач наших клиентов.

Аналитика для Интернета вещей

Amazon Kinesis Data Firehose позволяет непрерывно собирать данные с подключенных устройств, таких как бытовые приборы, встроенные датчики и ресиверы цифрового телевидения. Kinesis Data Firehose загружает данные в указанные целевые объекты, предоставляя доступ к метрикам, аналитическим данным и панелям управления в режиме, близком к реальному времени.

Анализ истории посещений

Amazon Kinesis Data Firehose можно использовать для получения в режиме реального времени данных об истории посещений страниц, что позволяет маркетологам повышать эффективность взаимодействия с клиентами. Миллиарды небольших сообщений сжимаются, шифруются и передаются в целевые объекты посредством настраиваемого потока. Поступившие данные можно объединять, фильтровать и обрабатывать, что позволяет обновлять данные на панелях управления эффективностью контента в режиме, близком к реальному времени.

Анализ журналов

Сбор, мониторинг и анализ данных журналов позволяет обнаруживать ошибки в работе приложений в момент их возникновения и выявлять их причины. Агент Amazon Kinesis просто установить на сервер и настроить для автоматического мониторинга файлов журналов приложений и сервера с последующей отправкой собранных данных в Kinesis Data Firehose. Kinesis Data Firehose непрерывно передает данные журналов в целевые объекты, что позволяет визуализировать и анализировать эти данные.

Мониторинг безопасности

Kinesis Data Firehose поддерживает Splunk в качестве целевого объекта. Это означает, что можно захватывать и пересылать журналы сетевого трафика в сервис Kinesis Data Firehose, который, в свою очередь, будет преобразовывать их, систематизировать и загружать в Splunk. Такое решение обеспечивает мониторинг сетевой безопасности в режиме реального времени и своевременное предупреждение при возникновении потенциальных угроз.

Примеры использования

3Victors
Компания 3Victors ежедневно обрабатывает более миллиарда поисковых запросов со всего мира и 230 миллиардов платных маршрутов от крупнейших мировых систем бронирования.
Ознакомиться с примером использования 
Hearst
Компания Hearst ежедневно передает для аналитики более 30 ТБ данных истории посещения сайтов.
Ознакомиться с примером использования 
Comcast
Компания Comcast собирает и анализирует предпочтения клиентов, чтобы предоставить им развлекательные сервисы наилучшего уровня.
Ознакомиться с примером использования 
Redfin
Компания Redfin построила надежный конвейер для сбора данных журналов, который улучшил показатели выполнения соглашений об уровне обслуживания для всех подчиненных сервисов.
Ознакомиться с примером использования 
Realtor.com
Realtor.com передает данные о просмотре рекламных объявлений и получает полезные аналитические сведения для повышения эффективности рекламы.
Ознакомиться с примером использования 
Repp Health
Компания Repp Health использует сервис Amazon Kinesis для приема, отслеживания и загрузки потоковых данных IoT в озеро данных Amazon S3 с целью анализа местоположения.
Ознакомиться с примером использования 

Публикации в блоге

Дата
  • Дата
1

См. блоги по Amazon Kinesis Data Firehose.

Начало работы с Amazon Kinesis Data Firehose

Ознакомиться с руководством для разработчиков
Ознакомьтесь с руководством для разработчиков

Узнайте о Kinesis Data Firehose из руководства для разработчиков.

Подробнее 
Зарегистрируйте бесплатный аккаунт AWS
Зарегистрируйте бесплатный аккаунт

Получите мгновенный доступ к уровню бесплатного пользования AWS. 

Регистрация 
Приступить к изучению Kinesis Data Firehose
Начните потоковую передачу данных

Получите практический опыт работы с помощью этого учебного пособия.

Приступить к изучению 

Подробнее о возможностях Amazon Kinesis Data Firehose

Перейти на страницу с описанием возможностей
Готовы начать?
Регистрация
Есть вопросы?
Свяжитесь с нами