Сервис Amazon OpenSearch представляет интеллектуальный прием данных для журналов и документов из Amazon S3
Бессерверный Amazon OpenSearch теперь поддерживает интеллектуальный прием данных – полностью управляемую функцию, которая преобразует хранящиеся в Amazon S3 журналы и документы в доступное для поиска содержимое коллекций Бессерверного Amazon OpenSearch (NextGen). Интеллектуальный прием данных можно настроить несколькими щелчками мыши в консоли управления AWS или одним вызовом API. Управлять инфраструктурой приема данных не требуется. Функция поддерживает журналы наблюдаемости и структурированные данные в форматах JSON, NDJSON и массивов JSON, а также неструктурированные файлы в форматах PDF, Word, обычного текста и Markdown.
Вы выбираете источник S3 и индекс коллекции, а интеллектуальный прием данных выполняет остальные операции. Функция автоматически определяет типы данных, анализирует документы, создает описания изображений, разбивает текст на фрагменты, генерирует векторные представления и индексирует результаты. Вам не нужно управлять инфраструктурой приема и обработки документов или заранее рассчитывать пропускную способность. Используйте задания приема данных для одноразовой загрузки, например при миграции и обратном заполнении, или потоки приема данных для синхронизации индекса по мере появления новых объектов в корзине. Пропускная способность масштабируется в соответствии с рабочей нагрузкой до настроенного лимита коллекции. Оплата взимается только за активную обработку. Исходные корзины S3 могут находиться в том же аккаунте AWS, что и коллекция, или в другом аккаунте.
Для журналов и структурированных данных функция применяет преобразования и при необходимости добавляет векторные представления без кода конвейера. Для неструктурированных данных функция анализирует файлы PDF, Word, файлы простого текста и Markdown, сохраняя заголовки, порядок чтения и таблицы. В результате содержимое попадает в индекс, готовый для семантического и гибридного поиска. Если документы содержат графики, диаграммы, снимки экрана или фотографии, мультимодальная модель создает текстовые описания, которые индексируются вместе с окружающим содержимым. Благодаря этому для поиска становится также доступна визуальная информация.
Интеллектуальный прием данных уже доступен для коллекций Бессерверного Amazon OpenSearch (NextGen) с Amazon S3 в качестве источника в семи регионах AWS. Для начала откройте консоль сервиса Amazon OpenSearch, выберите коллекцию и перейдите на вкладку «Получение данных». Дополнительные сведения см. в разделе Интеллектуальное получение данных Руководства для разработчиков сервиса Amazon OpenSearch. Цены см. в разделе Цены на сервис Amazon OpenSearch.