Функции сервиса Данные Amazon Firehose

Данные Amazon Firehose – это решение, которое предоставляет простейший способ загрузки потоковых данных в хранилища и инструменты аналитики. Данные Amazon Firehose – это полностью управляемый сервис, который обеспечивает простой сбор, преобразование и загрузку больших объемов потоковых данных из сотен тысяч источников в Amazon S3, Amazon Redshift, Сервисе Amazon OpenSearch, Snowflake, со стандартных адресов HTTP и из различных сервисов (например, Datadog, New Relic, MongoDB или Splunk), позволяя выполнять их анализ и получать ценные результаты в режиме, близком к реальному времени.

Поток Firehose является основной сущностью сервиса Firehose. Сервис Firehose используется для создания потока Firehose и отправки в него данных.

Чтобы запустить Данные Amazon Firehose и создать поток доставки для загрузки данных в Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Snowflake, на адрес HTTP или в сервисы Datadog, New Relic, MongoDB или Splunk, достаточно нескольких щелчков мышью в Консоли управления AWS. Отправить данные в поток доставки можно путем вызова API Firehose или запуска агента Linux, предоставляемого сервисом, в источнике данных. После этого Kinesis Data Firehose будет непрерывно загружать данные в указанные места назначения.

После запуска потоки Firehose будут автоматически масштабироваться в сторону увеличения и уменьшения, чтобы обрабатывать входные потоки данных со скоростью несколько гигабайтов в секунду и более, а также поддерживать задержку данных на том уровне, который настроен для потока, с учетом предельных значений. При этом не требуется какое‑либо вмешательство или обслуживание.

Можно указать размер пакета или интервал отправки, чтобы управлять скоростью передачи данных в конечные точки. Например, можно задать интервал пакетной обработки в диапазоне от нуля секунд до 15 минут. Кроме того, можно указать, требуется ли сжимать данные. Сервис поддерживает распространенные алгоритмы сжатия: GZip, Snappy, совместимый с Hadoop, Zip и Snappy. Формирование пакетов и сжатие данных перед загрузкой позволяет контролировать скорость получения новых данных в целевых объектах.

Firehose легко считывает данные из более чем 20 источников данных, включая Amazon MSK и бессерверные кластеры MSK, Потоки данных Amazon Kinesis, Журналы Amazon CloudWatch, Amazon SNS, AWS IoT Core и другие.

Firehose поддерживает оптимизацию столбцовых форматов данных, например Apache Parquet и Apache ORC, для экономичного хранения и анализа с использованием таких сервисов, как Amazon Athena, Amazon Redshift Spectrum, Amazon EMR и другие инструменты на основе Hadoop. Перед сохранением в Amazon S3 сервис Firehose может конвертировать формат входящих данных из JSON в Parquet или ORC, чтобы снизить стоимость хранения и анализа.

Вы можете динамически разделять данные потоковой передачи перед их доставкой в S3 с помощью статически или динамически определенных ключей, например «customer_id» или «transaction_id».  Firehose группирует данные по этим ключам и доставляет их в уникальные префиксы S3, что упрощает выполнение высокопроизводительного и экономичного анализа в S3 с помощью Athena, EMR и Redshift Spectrum. Подробнее »

Сервис Данные Amazon Firehose можно настроить на подготовку потоковых данных перед их загрузкой в хранилища данных. Просто выберите функцию AWS Lambda на вкладке конфигурации потока сервиса Данные Amazon Firehose в Консоли управления AWS. Сервис Данные Amazon Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные в конечные точки. Также сервис предлагает встроенные чертежи Lambda для преобразования данных из стандартных источников, таких как журналы Apache или системные журналы, в форматы JSON и CSV. Эти встроенные чертежи можно использовать без изменений или с дополнительными настройками; можно также создать собственные функции. В сервисе Данные Amazon Firehose можно настроить автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

Firehose легко считывает данные из более чем 20 источников данных, включая Amazon MSK и бессерверные кластеры MSK, Потоки данных Amazon Kinesis, Журналы Amazon CloudWatch, Amazon SNS, AWS IoT Core и другие. В настоящее время в качестве мест назначения сервис «Даные Amazon Firehose» поддерживает Amazon S3, Amazon Redshift, Сервис Amazon OpenSearch, Snowflake, конечные точки HTTP, Datadog, New Relic, MongoDB и Splunk. Сервис позволяет указать определенную корзину Amazon S3, таблицу Amazon Redshift, домен Сервиса Amazon OpenSearch, HTTP‑адрес или поставщика сервиса, в который требуется загрузить данные.

Сервис Данные Amazon Firehose предоставляет возможность автоматического шифрования данных после их загрузки в конечную точку. В качестве одной из настроек потоков Firehose можно указать ключ шифрования Сервиса управления ключами AWS (AWS KMS).

Сервис Данные Amazon Firehose предоставляет доступ к нескольким метрикам с помощью консоли, а также в сервисе Amazon CloudWatch. Эти метрики включают информацию об объеме полученных данных, объеме данных, отправленных в целевые объекты, времени прохождения данных от источника к конечной точки, предельных значений для потока Firehose, количестве пропущенных записей, а также коэффициент успешной загрузки.

При использовании сервиса Данные Amazon Firehose оплате подлежит только объем данных, передаваемых через сервис, и преобразование формата данных, если таковое используется. Кроме того, при необходимости оплачивается доставка и передача данных через Amazon VPC. Минимальные платежи и авансовые обязательства отсутствуют. Вам не нужен персонал, который бы следил за работой, осуществлял масштабирование и поддерживал инфраструктуру, или настраиваемые приложения для захвата и потоковой загрузки данных.