Amazon Kinesis Data Firehose предоставляет простейший способ загрузки потоковых данных в хранилища и инструменты аналитики. Kinesis Data Firehose – это полностью управляемый сервис, который обеспечивает простой захват, преобразование и загрузку больших объемов потоковых данных из сотен тысяч источников в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Amazon Kinesis Data Analytics и Splunk, позволяя выполнять их анализ и получать ценные результаты в режиме, близком к реальному времени.

Потоки доставки данных Kinesis

Поток доставки данных Kinesis – это базовая сущность сервиса Kinesis Data Firehose. Для использования Kinesis Data Firehose необходимо создать поток доставки данных Kinesis и начать отправлять в него данные.

Основные возможности

Простой запуск и настройка

Чтобы запустить Amazon Kinesis Data Firehose и создать поток доставки для загрузки данных в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или Splunk, достаточно нескольких щелчков мышью в Консоли управления AWS. Отправить данные в поток доставки можно путем вызова API Firehose или запуска агента Linux, предоставляемого сервисом, в источнике данных. После этого Kinesis Data Firehose будет непрерывно загружать данные в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk.

Загрузка новых данных практически в режиме, близком к реальному времени

Можно указать размер пакета или интервал отправки пакета для контроля того, как быстро данные должны передаваться получателям. Например, можно установить интервал передачи пакета 60 секунд, если вы хотите получать новые данные через 60 секунд после их отправки в поток доставки. Кроме того, можно указать, требуется ли сжимать данные. Сервис поддерживает стандартные алгоритмы сжатия, включая GZip и Snappy. Формирование пакетов и сжатие данных перед загрузкой позволяет контролировать скорость получения новых данных в целевых местах.

Эластичное масштабирование для обработки переменной скорости поступления данных

После запуска потоки доставки будут автоматически масштабироваться в сторону увеличения и уменьшения, чтобы обрабатывать входные потоки данных со скоростью несколько гигабайтов в секунду и более, а также поддерживать задержку данных на том уровне, который настроен для потока. При этом не требуется какое‑либо вмешательство или обслуживание.

Поддержка встроенной конвертации форматов данных

Столбцовые форматы данных, например Apache Parquet и Apache ORC, оптимизированы для экономичного хранения и анализа с использованием таких сервисов, как Amazon Athena, Amazon Redshift Spectrum, Amazon EMR и другие инструменты на основе Hadoop. Перед сохранением в Amazon S3 Amazon Kinesis Data Firehose может конвертировать формат входящих данных из JSON в Parquet или ORC, чтобы снизить стоимость хранения и анализа. Подробнее »

Интегрированное преобразование данных

Amazon Kinesis Data Firehose можно настроить на подготовку потоковых данных перед их загрузкой в хранилища данных. Просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Data Firehose в Консоли управления AWS. Amazon Kinesis Data Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные данные в целевые объекты. Amazon Kinesis Data Firehose предлагает встроенные схемы Lambda для преобразования данных из стандартных источников, таких как журналы Apache или системные журналы, в форматы JSON и CSV. Эти встроенные схемы можно использовать без изменений или с дополнительными настройками; можно также создать собственные функции. В Amazon Kinesis Data Firehose можно настроить автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

Поддержка нескольких целевых объектов

На данный момент Amazon Kinesis Data Firehose поддерживает использование в качестве целевых объектов Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk. Сервис позволяет указать определенную корзину Amazon S3, таблицу Amazon Redshift, домен Amazon Elasticsearch или кластер Splunk, в который требуется загрузить данные.

Дополнительное автоматическое шифрование

Amazon Kinesis Data Firehose предоставляет возможность автоматического шифрования данных после их загрузки в целевой объект. В качестве одной из настроек потоков доставки можно указать ключ шифрования AWS Key Management System (KMS).

Метрики для мониторинга производительности

Amazon Kinesis Data Firehose предоставляет доступ к нескольким метрикам с помощью консоли, а также в сервисе Amazon CloudWatch. Эти метрики включают информацию об объеме полученных данных, объеме данных, отправленных в целевые объекты, времени прохождения данных от источника к целевому объекту, а также уровне успешной загрузки. Эти метрики можно использовать для контроля работоспособности ваших потоков доставки, выполнения любых необходимых действий, таких как изменение получателей, и проверки того, что сервис собирает данные и передает их получателям.

Плата по факту использования

При использовании Amazon Kinesis Data Firehose вы платите только за объем данных, переданных через сервис. Минимальные платежи и авансовые обязательства отсутствуют. Вам не нужен персонал, который бы следил за работой, осуществлял масштабирование и поддерживал инфраструктуру, или настраиваемые приложения для захвата и потоковой загрузки данных.

Подробнее о ценах на Amazon Kinesis Data Firehose

Перейти на страницу цен
Готовы начать?
Регистрация
Есть вопросы?
Свяжитесь с нами