Содержание страницы
Потоки Firehose Основные функции

Данные Amazon Firehose – это решение, которое предоставляет простейший способ загрузки потоковых данных в хранилища и инструменты аналитики. Данные Amazon Firehose – это полностью управляемый сервис, который обеспечивает простой сбор, преобразование и загрузку больших объемов потоковых данных из сотен тысяч источников в Amazon S3, Amazon Redshift, Сервисе Amazon OpenSearch, Аналитике данных Amazon Kinesis, со стандартных адресов HTTP и из различных сервисов (например, Datadog, New Relic, MongoDB или Splunk), позволяя выполнять их анализ и получать ценные результаты в режиме, близком к реальному времени.

Потоки Firehose

Поток Firehose является основной сущностью сервиса Firehose. Сервис Firehose используется для создания потока Firehose и отправки в него данных.

Основные функции

Простой запуск и настройка

Чтобы запустить сервис Данные Amazon Firehose и создать поток Firehose для загрузки данных в Amazon S3, Amazon Redshift, сервис Amazon OpenSearch, на адрес HTTP или в сервисы Datadog, New Relic или MongoDB, достаточно нескольких щелчков мышью в Консоли управления AWS. Можно отправить данные в поток путем вызова API Firehose или запуска агента Linux, предоставляемого в источнике данных. После этого Firehose будет непрерывно загружать данные в указанные конечные точки.

Загрузка новых данных в режиме, близком к реальному времени

Можно указать размер пакета или интервал его отправки для контроля того, как быстро данные должны передаваться в конечные точки. Например, можно установить интервал передачи пакета 60 секунд, если вы хотите получать новые данные через 60 секунд после их отправки в поток Firehose. Кроме того, можно указать, требуется ли сжимать данные. Сервис поддерживает распространенные алгоритмы сжатия: GZip, Snappy, совместимый с Hadoop, Zip и Snappy. Формирование пакетов и сжатие данных перед загрузкой позволяет контролировать скорость получения новых данных в целевых объектах.

Эластичное масштабирование для обработки поступления данных с переменной скоростью

После запуска потоки Firehose будут автоматически масштабироваться в сторону увеличения и уменьшения, чтобы обрабатывать входные потоки данных со скоростью несколько гигабайтов в секунду и более, а также поддерживать задержку данных на том уровне, который настроен для потока, с учетом предельных значений. При этом не требуется какое‑либо вмешательство или обслуживание.

Интеграция с Управляемой потоковой передачей Amazon для Apache Kafka (Amazon MSK) и потоки Firehose

Сервис Данные Firehose может легко считывать данные из существующего кластера Amazon MSK или потока данных Kinesis и загружать их в несколько конечных точек.

Преобразование форматов Apache Parquet и ORC

Firehose поддерживает оптимизацию столбцовых форматов данных, например Apache Parquet и Apache ORC, для экономичного хранения и анализа с использованием таких сервисов, как Amazon Athena, Amazon Redshift Spectrum, Amazon EMR и другие инструменты на основе Hadoop. Перед сохранением в Amazon S3 сервис Firehose может конвертировать формат входящих данных из JSON в Parquet или ORC, чтобы снизить стоимость хранения и анализа.

Доставка разделенных данных в S3

Вы можете динамически разделять данные потоковой передачи перед их доставкой в S3 с помощью статически или динамически определенных ключей, например «customer_id» или «transaction_id».  Firehose группирует данные по этим ключам и доставляет их в уникальные префиксы S3, что упрощает выполнение высокопроизводительного и экономичного анализа в S3 с помощью Athena, EMR и Redshift Spectrum. Подробнее »

Интегрированное преобразование данных

Сервис Данные Amazon Firehose можно настроить на подготовку потоковых данных перед их загрузкой в хранилища данных. Просто выберите функцию AWS Lambda на вкладке конфигурации потока сервиса Данные Amazon Firehose в Консоли управления AWS. Сервис Данные Amazon Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные в конечные точки. Также сервис предлагает встроенные чертежи Lambda для преобразования данных из стандартных источников, таких как журналы Apache или системные журналы, в форматы JSON и CSV. Эти встроенные чертежи можно использовать без изменений или с дополнительными настройками; можно также создать собственные функции. В сервисе Данные Amazon Firehose можно настроить автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

Поддержка множества целевых объектов

Сервис Данные Amazon Firehose в настоящее время поддерживает в качестве конечных точек Amazon S3, Amazon Redshift, сервис Amazon OpenSearch, адреса HTTP, Datadog, New Relic, MongoDB и Splunk. Сервис позволяет указать определенную корзину Amazon S3, таблицу Amazon Redshift, домен сервиса Amazon OpenSearch, HTTP‑адрес или провайдера сервиса, в который требуется загрузить данные.

Дополнительное автоматическое шифрование

Сервис Данные Amazon Firehose предоставляет возможность автоматического шифрования данных после их загрузки в конечную точку. В качестве одной из настроек потоков Firehose можно указать ключ шифрования Сервиса управления ключами AWS (AWS KMS).

Метрики для мониторинга производительности

Сервис Данные Amazon Firehose предоставляет доступ к нескольким метрикам с помощью консоли, а также в сервисе Amazon CloudWatch. Эти метрики включают информацию об объеме полученных данных, объеме данных, отправленных в целевые объекты, времени прохождения данных от источника к конечной точки, предельных значений для потока Firehose, количестве пропущенных записей, а также коэффициент успешной загрузки.

Оплата по факту использования

При использовании сервиса Данные Amazon Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Кроме того, при необходимости оплачивается доставка и передача данных через Amazon VPC. Минимальные платежи и авансовые обязательства отсутствуют. Вам не нужен персонал, который бы следил за работой, осуществлял масштабирование и поддерживал инфраструктуру, или настраиваемые приложения для захвата и потоковой загрузки данных.

Подробнее о ценах на сервис Данные Amazon Firehose

Перейти на страницу цен
Готовы начать?
Регистрация
Возникли дополнительные вопросы?
Связаться с нами