Сбор данных с помощью Amazon Kinesis Data Firehose

Amazon Kinesis Firehose позволяет без труда преобразовывать необработанные потоковые данные из различных источников в форматы, совместимые с индексом Elasticsearch или OpenSearch, и загружать их в Amazon OpenSearch Service без необходимости создавать собственные конвейеры обработки данных.

Для использования этой возможности просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Firehose в Консоли управления AWS. Amazon Kinesis Firehose будет автоматически применять функцию AWS Lambda ко всем записям входных данных и загружать преобразованные данные в индекс Amazon OpenSearch Service.

В Amazon Kinesis Firehose имеются готовые схемы Lambda, которые можно использовать без каких‑либо изменений или настроек для преобразования данных из распространенных источников, таких как журналы Apache и системные журналы, в форматы JSON и CSV. Можно также настроить Amazon Kinesis Firehose на автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »

 

Сбор данных с помощью Logstash

Amazon OpenSearch Service поддерживает интеграцию с Logstash – инструментом обработки данных с открытым исходным кодом, который собирает данные из источников, преобразует их, а затем загружает в Elasticsearch или OpenSearch. Можно без труда выполнить развертывание Logstash на Amazon EC2 и настроить свой домен Amazon OpenSearch Service в качестве серверного хранилища для всех журналов, поступающих через Logstash. Logstash поддерживает библиотеку встроенных фильтров для простого выполнения стандартных преобразований, таких как преобразование неструктурированных данных журнала в структурированные данные посредством сопоставления с образцом, переименование, удаление, замена и изменение полей в записях данных, а также агрегация метрик. Подробнее »

Сбор данных с помощью Amazon CloudWatch Logs

Amazon CloudWatch Logs позволяет следить за работой систем и приложений и решать возникающие в них проблемы, используя файлы журналов соответствующих систем и приложений, а также пользовательские файлы журналов. Можно настроить группу журналов CloudWatch Logs для потоковой передачи данных в домен Amazon OpenSearch Service в режиме, близком к реальному времени, с помощью подписки CloudWatch Logs. Такая интеграция удобна, если вы уже используете CloudWatch Logs для сбора данных журналов и хотели бы поделиться этими данными с пользователями Amazon OpenSearch Service. Подробнее »

Сбор данных с помощью AWS IoT

AWS IoT – это управляемая облачная платформа, которая позволяет подключенным устройствам просто и безопасно взаимодействовать с облачными приложениями и другими устройствами. AWS IoT можно использовать для захвата данных с подключенных устройств, таких как бытовые приборы, встроенные датчики и ресиверы цифрового телевидения. С помощью Консоли управления AWS можно настроить AWS IoT для загрузки данных непосредственно в Amazon OpenSearch Service, чтобы обеспечить клиентам доступ к данным и метрикам IoT в режиме, близком к реальному времени. Подробнее »

Выбор правильного механизма сбора данных

Выбор правильного механизма сбора данных зависит от требований конкретного сценария использования, например к типу данных и задержке при их передаче. Для больших объемов данных рекомендуется использовать полностью управляемый сервис Amazon Kinesis Data Firehose, который автоматически масштабируется для обеспечения необходимой пропускной способности и не требует постоянного администрирования. Он также может преобразовывать, сжимать и объединять данные в пакеты перед загрузкой в домен Amazon OpenSearch Service. Часто выбор зависит от того, какие сервисы уже используются. Например, если вы уже собираете журналы приложений с помощью Amazon CloudWatch Logs, можно просто загрузить эти данные в свой домен Amazon OpenSearch Service без дополнительных усилий.

Дальнейшие шаги

В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.

Подробнее о ценах на Amazon OpenSearch Service

Перейти на страницу цен
Готовы приступить к разработке?
Начало работы с Amazon OpenSearch Service
Есть вопросы?
Связаться с нами