Publicado: Nov 22, 2023
O OpenSearch Service 2.11 agora inclui o OpenSearch Neural Sparse Retrieval. Agora, os profissionais de pesquisa têm um método de pesquisa adicional para usar em suas aplicações de pesquisa com melhor compreensão semântica, mantendo o custo de computação e a latência de computação baixos, mais alinhados com a pesquisa lexical.
O Neural Sparse Retrieval é um novo tipo de método de incorporação esparsa, semelhante em muitos aspectos à indexação clássica baseada em termos, mas com uma melhor compreensão de palavras e frases de baixa frequência. O Neural Sparse Retrieval usa modelos baseados em transformadores (por exemplo, GPT ou BERT) para criar incorporações ricas em informações que resolvem o desafio léxico com a incompatibilidade de vocabulário de forma escalável. Essa nova funcionalidade de recuperação esparsa com o OpenSearch Service oferece o modo somente documento e o modo bicodificador, cada um com vantagens diferentes. O modo somente documento pode oferecer uma performance de baixa latência mais comparável à pesquisa lexical, com limitações de sintaxe avançada em comparação com métodos densos. O modo bicodificador maximiza a relevância da pesquisa enquanto executa com maior latência. Com essa atualização, os usuários agora podem escolher o método que funciona melhor para seus requisitos de performance, precisão e custo.
O Neural Sparse Retrieval já está disponível em todas as regiões da AWS que oferecem o Amazon OpenSearch Service. Para obter informações sobre a atualização para o OpenSearch 2.11, consulte a documentação.
Para saber mais sobre o Amazon OpenSearch Service, acesse a página do produto.