Благодаря встроенным интеграциям можно существенно сократить операционные расходы. Импорт данных в Elasticsearch или OpenSearch может представлять трудности, так как он состоит из нескольких этапов, включая сбор, преобразование, сопоставление и загрузку данных из разных источников в индекс Elasticsearch или OpenSearch. Необходимо преобразовать необработанные данные в формат структурированных данных, например JSON или CSV, очистить их и привязать к целевым полям данных. Необходимо также осуществить пакетную обработку и буферизацию данных для эффективной загрузки, что позволит обеспечить мгновенную доступность этих данных для запросов без перегрузки вычислительных и сетевых ресурсов кластера.
Amazon OpenSearch Service упрощает все эти задачи благодаря интеграции с Amazon Kinesis Data Firehose, Logstash, Amazon CloudWatch или AWS IoT, позволяя гибко выбирать инструмент импорта, который соответствует требованиям конкретного сценария использования.
Получение данных с помощью Amazon OpenSearch
Amazon OpenSearch Ingestion – это возможность сервиса Amazon OpenSearch для сбора, преобразования и маршрутизации данных в домены Amazon OpenSearch. OpenSearch Ingestion повышает экономичность и помогает обеспечить качество данных. Сервис OpenSearch Ingestion запускает конвейеры OpenSearch Data Prepper как бессерверный процесс, который автоматически масштабируется в соответствии с потребностями в обработке ваших входящих рабочих нагрузок. Подробнее »
Сбор данных с помощью Amazon Kinesis Data Firehose
Amazon Kinesis Firehose позволяет без труда преобразовывать необработанные потоковые данные из различных источников в форматы, совместимые с индексом Elasticsearch или OpenSearch, и загружать их в Amazon OpenSearch Service без необходимости создавать собственные конвейеры обработки данных.
Для использования этой возможности просто выберите функцию AWS Lambda на вкладке конфигурации потока доставки Amazon Kinesis Firehose в Консоли управления AWS. Amazon Kinesis Firehose будет автоматически применять функцию AWS Lambda ко всем записям входных данных и загружать преобразованные данные в индекс Amazon OpenSearch Service.
В Amazon Kinesis Firehose имеются готовые схемы Lambda, которые можно использовать без каких‑либо изменений или настроек для преобразования данных из распространенных источников, таких как журналы Apache и системные журналы, в форматы JSON и CSV. Можно также настроить Amazon Kinesis Firehose на автоматический повторный запуск заданий, завершившихся ошибками, и резервное копирование необработанных потоковых данных. Подробнее »
Сбор данных с помощью Logstash
Amazon OpenSearch Service поддерживает интеграцию с Logstash – инструментом обработки данных с открытым исходным кодом, который собирает данные из источников, преобразует их, а затем загружает в Elasticsearch или OpenSearch. Можно без труда выполнить развертывание Logstash на Amazon EC2 и настроить свой домен Amazon OpenSearch Service в качестве серверного хранилища для всех журналов, поступающих через Logstash. Logstash поддерживает библиотеку встроенных фильтров для простого выполнения стандартных преобразований, таких как преобразование неструктурированных данных журнала в структурированные данные посредством сопоставления с образцом, переименование, удаление, замена и изменение полей в записях данных, а также агрегация метрик. Подробнее »
Сбор данных с помощью Amazon CloudWatch Logs
Amazon CloudWatch Logs позволяет следить за работой систем и приложений и решать возникающие в них проблемы, используя файлы журналов соответствующих систем и приложений, а также пользовательские файлы журналов. Можно настроить группу журналов CloudWatch Logs для потоковой передачи данных в домен Amazon OpenSearch Service в режиме, близком к реальному времени, с помощью подписки CloudWatch Logs. Такая интеграция удобна, если вы уже используете CloudWatch Logs для сбора данных журналов и хотели бы поделиться этими данными с пользователями Amazon OpenSearch Service. Подробнее »
Сбор данных с помощью AWS IoT
AWS IoT – это управляемая облачная платформа, которая позволяет подключенным устройствам просто и безопасно взаимодействовать с облачными приложениями и другими устройствами. AWS IoT можно использовать для захвата данных с подключенных устройств, таких как бытовые приборы, встроенные датчики и ресиверы цифрового телевидения. С помощью Консоли управления AWS можно настроить AWS IoT для загрузки данных непосредственно в Amazon OpenSearch Service, чтобы обеспечить клиентам доступ к данным и метрикам IoT в режиме, близком к реальному времени. Подробнее »
Выбор правильного механизма сбора данных
Выбор правильного механизма сбора данных зависит от требований конкретного сценария использования, например к типу данных и задержке при их передаче. Для больших объемов данных рекомендуется использовать полностью управляемый сервис Amazon Kinesis Data Firehose, который автоматически масштабируется для обеспечения необходимой пропускной способности и не требует постоянного администрирования. Он также может преобразовывать, сжимать и объединять данные в пакеты перед загрузкой в домен Amazon OpenSearch Service. Часто выбор зависит от того, какие сервисы уже используются. Например, если вы уже собираете журналы приложений с помощью Amazon CloudWatch Logs, можно просто загрузить эти данные в свой домен Amazon OpenSearch Service без дополнительных усилий.
Дальнейшие шаги
- Начните работу с Amazon OpenSearch Service на уровне бесплатного пользования AWS »
- Воспользуйтесь Руководством по началу работы с Amazon OpenSearch Service »
В состав OpenSearch входят некоторые фрагменты кода Elasticsearch, созданного Elasticsearch B.V. и распространяемого по лицензии Apache, а также фрагменты другого исходного кода. Elasticsearch B.V. не является источником другого исходного кода. ELASTICSEARCH является зарегистрированной торговой маркой Elasticsearch B.V.
Подробнее о ценах на Amazon OpenSearch Service