Amazon Kinesis Data Firehose предоставляет простейший способ загрузки потоковых данных в хранилища и инструменты аналитики. Kinesis Data Firehose – это полностью управляемый сервис, который обеспечивает простой захват, преобразование и загрузку больших объемов потоковых данных из сотен тысяч источников в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Amazon Kinesis Data Analytics и Splunk, позволяя выполнять их анализ и получать ценные результаты в режиме, близком к реальному времени.

Начать работу с AWS бесплатно

Создать бесплатный аккаунт

Получите доступ к уровню бесплатного пользования AWS на год, включая преимущества базовой поддержки: круглосуточное обслуживание клиентов (без праздников и выходных), форумы и многое другое. В настоящее время сервис Amazon Kinesis Data Firehose недоступен на уровне бесплатного пользования AWS.


Чтобы запустить Amazon Kinesis Data Firehose и создать поток доставки для загрузки данных в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или Splunk, достаточно нескольких щелчков мышью в Консоли управления AWS. Отправить данные в поток доставки можно путем вызова API Firehose или запуска агента Linux, предоставляемого сервисом, в источнике данных. После этого Kinesis Data Firehose будет непрерывно загружать данные в Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk.

Можно указать размер пакета или интервал отправки пакета для контроля того, насколько быстро данные должны передаваться получателям. Например, можно установить интервал передачи пакета 60 секунд, если вы хотите получать новые данные через 60 секунд после их отправки в поток доставки. Кроме того, можно указать, требуется ли сжимать данные. Сервис поддерживает стандартные алгоритмы сжатия, включая GZip и Snappy. Формирование пакетов и сжатие данных перед загрузкой позволяет контролировать скорость получения новых данных в местах их приема.

После запуска ваши потоки доставки будут автоматически масштабироваться в сторону увеличения и уменьшения, чтобы обрабатывать входные потоки данных со скоростью несколько гигабайтов в секунду и более, а также поддерживать задержку данных на том уровне, который вы задали для потока. При этом не требуется какое-либо вмешательство или обслуживание.

Можно настроить Amazon Kinesis Data Firehose на подготовку потоковых данных перед их загрузкой в хранилища данных. Просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Data Firehose в Консоли управления AWS. Amazon Kinesis Data Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные данные в целевые объекты. Amazon Kinesis Data Firehose предлагает встроенные схемы Lambda для преобразования данных из стандартных источников, таких как журналы Apache или системные журналы, в форматы JSON и CSV. Эти встроенные схемы можно использовать без изменений или с дополнительными настройками; можно также создать собственные функции. В Amazon Kinesis Data Firehose можно настроить автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

Amazon Kinesis Data Firehose в настоящее время поддерживает использование в качестве целевых объектов Amazon S3, Amazon Redshift, Amazon Elasticsearch Service и Splunk. Можно указать определенную корзину Amazon S3, таблицу Amazon Redshift, домен Amazon Elasticsearch или кластер Splunk, в который требуется загрузить данные.

Amazon Kinesis Data Firehose предоставляет возможность автоматического шифрования данных после их загрузки в целевой объект. В качестве одной из настроек потоков доставки можно указать ключ шифрования AWS Key Management System (KMS).

Amazon Kinesis Data Firehose предоставляет доступ к нескольким метрикам с помощью консоли, а также в сервисе Amazon CloudWatch. Эти метрики включают информацию об объеме полученных данных, объеме данных, отправленных в целевые объекты, времени прохождения данных от источника к целевому объекту, а также уровне успешной загрузки. Можно использовать эти метрики для контроля работоспособности ваших потоков доставки, выполнения любых необходимых действий, таких как изменение получателей, и гарантирования того, что сервис собирает данные и передает их получателям.

При использовании Amazon Kinesis Data Firehose вы платите только за объем данных, переданных через сервис. Минимальные или авансовые платежи отсутствуют. Вам не нужен персонал, который бы следил за работой, осуществлял масштабирование и поддерживал инфраструктуру, или настраиваемые приложения для захвата и потоковой загрузки данных.