O Amazon OpenSearch Service introduz a ingestão inteligente de logs e documentos no Amazon S3
O Amazon OpenSearch Sem Servidor agora oferece ingestão inteligente, um recurso totalmente gerenciado que transforma logs e documentos armazenados no Amazon S3 em conteúdo pesquisável nas coleções do Amazon OpenSearch Sem Servidor (NextGen). Com a ingestão inteligente, você pode configurar a ingestão com alguns cliques no Console de Gerenciamento da AWS ou com uma única chamada de API, sem precisar gerenciar uma infraestrutura de ingestão. A ingestão inteligente suporta logs de observabilidade e dados estruturados nos formatos de matriz JSON, NDJSON e JSON, e arquivos não estruturados nos formatos PDF, Word, texto sem formatação e Markdown.
Você escolhe uma fonte do S3 e um índice de coleta, e a ingestão inteligente trata do resto. Ela detecta automaticamente os tipos de dados, analisa documentos, descreve imagens, fragmenta o texto, gera incorporações vetoriais e indexa os resultados. Você não precisa gerenciar a infraestrutura de ingestão ou processamento de documentos, nem dimensionar a capacidade com antecedência. Use trabalhos de ingestão para cargas únicas, como migrações e preenchimentos, ou fluxos de ingestão para manter um índice sincronizado à medida que novos objetos chegam ao seu bucket. A capacidade aumenta de acordo com sua workload até o limite configurado da coleção, e você paga somente pelo processamento ativo. Os buckets S3 de origem podem estar na mesma conta da AWS da coleção ou em uma conta diferente.
Para logs e dados estruturados, a ingestão inteligente aplica transformações e, opcionalmente, adiciona incorporações, sem código de pipeline. Para dados não estruturados, ele analisa arquivos PDF, Word, texto simples e Markdown, mantendo os cabeçalhos, a ordem de leitura e as tabelas intactos, para que o conteúdo chegue a um índice pronto para pesquisa semântica e híbrida. Quando os documentos contêm gráficos, diagramas, capturas de tela ou fotos, um modelo de linguagem de visão gera descrições de texto que são indexadas com o conteúdo circundante, tornando as informações visuais também pesquisáveis.
A ingestão inteligente está disponível hoje para coleções do Amazon OpenSearch Sem Servidor (NextGen), com o Amazon S3 como origem, em sete regiões da AWS. Para começar, abra o console do Amazon OpenSearch Service, escolha sua coleção e selecione a guia Ingestão. Para saber mais, consulte ingestão inteligente no Guia do desenvolvedor do Amazon OpenSearch Service. Para saber os preços, consulte os preços do Amazon OpenSearch Service.