Сбор данных с помощью Amazon Kinesis Data Firehose

Amazon Kinesis Firehose позволяет без труда преобразовывать необработанные потоковые данные из различных источников в форматы, совместимые с индексом Elasticsearch, и загружать их в Amazon Elasticsearch Service без необходимости создавать собственные конвейеры обработки данных.

Для использования этой возможности просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Firehose в Консоли управления AWS. Amazon Kinesis Firehose будет автоматически применять эту функцию ко всем записям входных данных и загружать преобразованные данные в индекс Amazon Elasticsearch.

В Amazon Kinesis Firehose имеются готовые схемы Lambda, которые можно использовать без каких‑либо изменений или настроек для преобразования данных из распространенных источников, таких как журналы Apache и системные журналы, в форматы JSON и CSV. Можно также настроить Amazon Kinesis Firehose на автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

 

Сбор данных с помощью Logstash

Amazon Elasticsearch Service поддерживает интеграцию с Logstash – инструментом обработки данных с открытым исходным кодом, который собирает данные из источников, преобразует их, а затем загружает в Elasticsearch. Можно без труда выполнить развертывание Logstash на Amazon EC2 и настроить свой домен Amazon Elasticsearch в качестве серверного хранилища для всех журналов, поступающих через Logstash. Logstash поддерживает библиотеку встроенных фильтров для простого выполнения стандартных преобразований, таких как преобразование неструктурированных данных журнала в структурированные данные посредством сопоставления с образцом, переименование, удаление, замена и изменение полей в записях данных, а также агрегация метрик. Подробнее »

Сбор данных с помощью Amazon CloudWatch Logs

Amazon CloudWatch Logs позволяет следить за работой систем и приложений и решать возникающие в них проблемы, используя файлы журналов соответствующих систем и приложений, а также пользовательские файлы журналов. Можно настроить группу журналов CloudWatch Logs для потоковой передачи данных в домен Amazon Elasticsearch Service в режиме, близком к реальному времени, с помощью подписки CloudWatch Logs. Такая интеграция удобна, если вы уже используете CloudWatch Logs для сбора данных журналов и хотели бы поделиться этими данными с пользователями Amazon Elasticsearch Service. Подробнее »

Сбор данных с помощью AWS IoT

AWS IoT – это управляемая облачная платформа, которая позволяет подключенным устройствам просто и безопасно взаимодействовать с облачными приложениями и другими устройствами. AWS IoT можно использовать для захвата данных с подключенных устройств, таких как бытовые приборы, встроенные датчики и ресиверы цифрового телевидения. С помощью Консоли управления AWS можно настроить AWS IoT для загрузки данных непосредственно в Amazon Elasticsearch Service, чтобы обеспечить клиентам доступ к данным и метрикам IoT в режиме, близком к реальному времени. Подробнее »

Выбор правильного механизма сбора данных

Выбор правильного механизма сбора данных зависит от требований конкретного сценария использования, например к типу данных и задержке при их передаче. Для больших объемов данных рекомендуется использовать полностью управляемый сервис Amazon Kinesis Firehose, который автоматически масштабируется для обеспечения необходимой пропускной способности и не требует постоянного администрирования. Он также может преобразовывать, сжимать и объединять данные в пакеты перед загрузкой в домен Amazon Elasticsearch Service. Часто выбор зависит от того, какие сервисы уже используются. Например, если вы уже собираете журналы приложений с помощью Amazon CloudWatch Logs, можно просто загрузить эти данные в свой домен Amazon Elasticsearch Service без дополнительных усилий.

Дальнейшие шаги

Подробнее о ценах на Amazon Elasticsearch Service

Перейти на страницу цен
Готовы приступить к разработке?
Начало работы с Amazon Elasticsearch Service
Есть вопросы?
Свяжитесь с нами