Amazon Kinesis Data Firehose предоставляет простейший способ загрузки потоковых данных в хранилища и инструменты аналитики. Kinesis Data Firehose – это полностью управляемый сервис, который обеспечивает простой захват, преобразование и загрузку больших объемов потоковых данных из сотен тысяч источников в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Amazon Kinesis Data Analytics и Splunk, позволяя выполнять их анализ и получать ценные результаты в режиме, близком к реальному времени.

Потоки доставки данных Kinesis

Поток доставки данных Kinesis – это базовая сущность сервиса Kinesis Data Firehose. Для использования Kinesis Data Firehose необходимо создать поток доставки данных Kinesis и начать отправлять в него данные.

Основные возможности

Простой запуск и настройка

Чтобы запустить Amazon Kinesis Data Firehose и создать поток доставки для загрузки данных в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или Splunk, достаточно нескольких щелчков мышью в консоли управления AWS. Отправить данные в поток доставки можно путем вызова API Firehose или запуска агента Linux, предоставляемого сервисом, в источнике данных. После этого Kinesis Data Firehose будет непрерывно загружать данные в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk.

Загрузка новых данных в режиме, близком к реальному времени

Можно указать размер пакета или интервал отправки пакета для контроля того, как быстро данные должны передаваться в целевые объекты. Например, можно установить интервал передачи пакета 60 секунд, если вы хотите получать новые данные через 60 секунд после их отправки в поток доставки. Кроме того, можно указать, требуется ли сжимать данные. Сервис поддерживает стандартные алгоритмы сжатия, включая GZip и Snappy. Формирование пакетов и сжатие данных перед загрузкой позволяет контролировать скорость получения новых данных в целевых объектах.

Эластичное масштабирование для обработки переменной скорости поступления данных

После запуска потоки доставки будут автоматически масштабироваться в сторону увеличения и уменьшения, чтобы обрабатывать входные потоки данных со скоростью несколько гигабайтов в секунду и более, а также поддерживать задержку данных на том уровне, который настроен для потока. При этом не требуется какое‑либо вмешательство или обслуживание.

Поддержка встроенной конвертации форматов данных

Столбцовые форматы данных, например Apache Parquet и Apache ORC, оптимизированы для экономичного хранения и анализа с использованием таких сервисов, как Amazon Athena, Amazon Redshift Spectrum, Amazon EMR и другие инструменты на основе Hadoop. Перед сохранением в Amazon S3 Amazon Kinesis Data Firehose может конвертировать формат входящих данных из JSON в Parquet или ORC, чтобы снизить стоимость хранения и анализа. Подробнее »

Интегрированное преобразование данных

Amazon Kinesis Data Firehose можно настроить на подготовку потоковых данных перед их загрузкой в хранилища данных. Просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Data Firehose в Консоли управления AWS. Amazon Kinesis Data Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные данные в целевые объекты. Amazon Kinesis Data Firehose предлагает встроенные схемы Lambda для преобразования данных из стандартных источников, таких как журналы Apache или системные журналы, в форматы JSON и CSV. Эти встроенные схемы можно использовать без изменений или с дополнительными настройками; можно также создать собственные функции. В Amazon Kinesis Data Firehose можно настроить автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

Поддержка нескольких целевых объектов

На данный момент Amazon Kinesis Data Firehose поддерживает использование в качестве целевых объектов Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk. Сервис позволяет указать определенную корзину Amazon S3, таблицу Amazon Redshift, домен Amazon Elasticsearch или кластер Splunk, в который требуется загрузить данные.

Дополнительное автоматическое шифрование

Amazon Kinesis Data Firehose предоставляет возможность автоматического шифрования данных после их загрузки в целевой объект. В качестве одной из настроек потоков доставки можно указать ключ шифрования AWS Key Management System (KMS).

Метрики для мониторинга производительности

Amazon Kinesis Data Firehose предоставляет доступ к нескольким метрикам с помощью консоли, а также в сервисе Amazon CloudWatch. Эти метрики включают информацию об объеме полученных данных, объеме данных, отправленных в целевые объекты, времени прохождения данных от источника к целевому объекту, а также уровне успешной загрузки. Эти метрики можно использовать для контроля работоспособности ваших потоков доставки, выполнения любых необходимых действий, таких как изменение получателей, и проверки того, что сервис собирает данные и передает их получателям.

Плата по факту использования

При использовании Amazon Kinesis Data Firehose вы платите только за объем данных, переданных через сервис. Минимальные платежи и авансовые обязательства отсутствуют. Вам не нужен персонал, который бы следил за работой, осуществлял масштабирование и поддерживал инфраструктуру, или настраиваемые приложения для захвата и потоковой загрузки данных.

Подробнее о ценах на Amazon Kinesis Data Firehose

Перейти на страницу цен
Готовы начать?
Регистрация
Есть вопросы?
Свяжитесь с нами