Amazon Kinesis Data Firehose предоставляет простейший способ загрузки потоковых данных в хранилища и инструменты аналитики. Kinesis Data Firehose – это полностью управляемый сервис, который обеспечивает простой захват, преобразование и загрузку больших объемов потоковых данных из сотен тысяч источников в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Amazon Kinesis Data Analytics и Splunk, позволяя выполнять их анализ и получать ценные результаты в режиме, близком к реальному времени.

Потоки доставки данных Kinesis

Поток доставки Kinesis – это базовая сущность сервиса Kinesis Data Firehose. Для использования Kinesis Data Firehose необходимо создать поток доставки Kinesis и отправить в него данные.

Основные возможности

Простой запуск и настройка

Чтобы запустить Amazon Kinesis Data Firehose и создать поток доставки для загрузки данных в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или Splunk, достаточно нескольких щелчков мышью в Консоли управления AWS. Отправить данные в поток доставки можно путем вызова API Firehose или запуска агента Linux, предоставляемого сервисом, в источнике данных. После этого Kinesis Data Firehose будет непрерывно загружать данные в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk.

Загрузка новых данных практически в режиме реального времени

Можно указать размер пакета или интервал отправки пакета для контроля того, насколько быстро данные должны передаваться получателям. Например, можно установить интервал передачи пакета 60 секунд, если вы хотите получать новые данные через 60 секунд после их отправки в поток доставки. Кроме того, можно указать, требуется ли сжимать данные. Сервис поддерживает стандартные алгоритмы сжатия, включая GZip и Snappy. Формирование пакетов и сжатие данных перед загрузкой позволяет контролировать скорость получения новых данных в местах их приема.

Эластичное масштабирование для обработки переменной скорости передачи данных

После запуска ваши потоки доставки будут автоматически масштабироваться в сторону увеличения и уменьшения, чтобы обрабатывать входные потоки данных со скоростью несколько гигабайтов в секунду и более, а также поддерживать задержку данных на том уровне, который вы задали для потока. При этом не требуется какое-либо вмешательство или обслуживание.

Поддержка встроенной конвертации форматов данных

Столбцовые форматы данных, например Apache Parquet и Apache ORC, оптимизированы для экономичного хранения и анализа с использованием таких сервисов, как Amazon Athena, Amazon Redshift Spectrum, Amazon EMR и другие инструменты на основе Hadoop. Перед сохранением в Amazon S3 Amazon Kinesis Data Firehose может конвертировать формат входящих данных из JSON в Parquet или ORC, чтобы снизить стоимость хранения и анализа.Подробнее »

Интегрированное преобразование данных

Можно настроить Amazon Kinesis Data Firehose на подготовку потоковых данных перед их загрузкой в хранилища данных. Просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Data Firehose в Консоли управления AWS. Amazon Kinesis Data Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные данные в целевые объекты. Amazon Kinesis Data Firehose предлагает встроенные схемы Lambda для преобразования данных из стандартных источников, таких как журналы Apache или системные журналы, в форматы JSON и CSV. Эти встроенные схемы можно использовать без изменений или с дополнительными настройками; можно также создать собственные функции. В Amazon Kinesis Data Firehose можно настроить автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

Поддержка нескольких целевых объектов

Amazon Kinesis Data Firehose в настоящее время поддерживает использование в качестве целевых объектов Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk. Можно указать определенную корзину Amazon S3, таблицу Amazon Redshift, домен Amazon Elasticsearch или кластер Splunk, в который требуется загрузить данные.

Дополнительное автоматическое шифрование

Amazon Kinesis Data Firehose предоставляет возможность автоматического шифрования данных после их загрузки в целевой объект. В качестве одной из настроек потоков доставки можно указать ключ шифрования AWS Key Management System (KMS).

Метрики для мониторинга производительности

Amazon Kinesis Data Firehose предоставляет доступ к нескольким метрикам с помощью консоли, а также в сервисе Amazon CloudWatch. Эти метрики включают информацию об объеме полученных данных, объеме данных, отправленных в целевые объекты, времени прохождения данных от источника к целевому объекту, а также уровне успешной загрузки. Можно использовать эти метрики для контроля работоспособности ваших потоков доставки, выполнения любых необходимых действий, таких как изменение получателей, и гарантирования того, что сервис собирает данные и передает их получателям.

Оплата по факту потребления

При использовании Amazon Kinesis Data Firehose вы платите только за объем данных, переданных через сервис. Минимальные или авансовые платежи отсутствуют. Вам не нужен персонал, который бы следил за работой, осуществлял масштабирование и поддерживал инфраструктуру, или настраиваемые приложения для захвата и потоковой загрузки данных.

Подробнее о ценах на Amazon Kinesis Data Firehose

Перейти на страницу цен
Готовы начать работу?
Регистрация
Есть вопросы?
Свяжитесь с нами