Amazon Data Firehose
Надежная загрузка потоков в реальном времени в озера и хранилища данных и аналитические службы
Преимущества
Потоковая передача данных в режиме реального времени
Простой захват, преобразование и загрузка потоковых данных. Создание потока доставки, выбор целевого объекта и организация потоковой передачи данных в режиме реального времени всего в несколько щелчков мышью.
Автоматическое выделение и масштабирование
Автоматическое распределение и масштабирование вычислений, объема памяти и сетевых ресурсов без постоянного администрирования.
Преобразование потоков необработанных данных
Преобразование необработанных потоков данных в такие форматы, как Apache Parquet, и динамическое их разделение без создания собственных конвейеров обработки.
Как это работает
Сервис Amazon Data Firehose – самый простой способ за считаные секунды получать, преобразовывать потоковые данные и доставлять их в озера данных, хранилища и аналитические сервисы. Чтобы начать использовать Amazon Data Firehose, достаточно настроить источник потока, назначение и необходимые преобразования. Amazon Data Firehose непрерывно обрабатывает поток, автоматически масштабируется с учетом объема данных и доставляет их в целевую систему всего за несколько секунд.
Источник
Выберите для потока данных источник, например раздел в Amazon Managed Streaming for Kafka (MSK) или поток в Потоках данных Kinesis, или напрямую передайте данные с помощью API Firehose Direct PUT. Amazon Data Firehose интегрирован более чем в 20 сервисов AWS, поэтому вы можете настроить поток из таких источников, как Amazon CloudWatch Logs, веб-журналы ACL AWS WAF, журналы сетевых брандмауэров AWS, Amazon SNS или AWS IoT.
Преобразование данных (необязательно)
Укажите, нужно ли преобразовывать поток данных в другой формат (например, Parquet или ORC), распаковывать данные, выполнять произвольные преобразования данных с помощью вашей функции AWS Lambda или на основе значений атрибутов динамически распределять входные записи по нескольким целевым назначениям.
Пункт назначения
Выберите место назначения для трансляции, например Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake, таблицы Apache Iceberg, таблицы Amazon S3 или настраиваемую конечную точку HTTP.
Дополнительные сведения о сервисе Amazon Data Firehose см. в этой документации.
Примеры использования
Поток данных в озера и хранилища данных
Потоковая передача данных в Amazon S3 и преобразование данных в необходимые форматы для анализа без создания конвейеров обработки.
Повышение безопасности
Мониторинг безопасности сети в реальном времени и создание предупреждений при выявлении потенциальных угроз с помощью поддерживаемых инструментов информации в сфере безопасности и управления событиями (SIEM).
Создание потоковых приложений ML
Обогатите свои потоки данных моделями машинного обучения (ML) для анализа данных и прогнозирования адресов вывода по мере продвижения потоков к месту назначения.