投稿日: Nov 22, 2023
OpenSearch Service 2.11 に、OpenSearch Neural Sparse Retrieval が追加されました。これにより検索の際に、意味理解を向上させながら、計算コストと計算レイテンシーを低く抑え、字句検索に近い形で、検索アプリケーションに使用できる新たな検索手法が実現します。
Neural Sparse Retrieval は新しいタイプのスパース型埋め込み手法で、従来の用語ベースのインデックスと多くの点で似ていますが、頻度の低い単語やフレーズの理解が向上しています。Neural Sparse Retrieval は、トランスフォーマーベースのモデル (GPT や BERT など) を使用して、字句の不一致に伴う字句の課題を拡張性の高い方法で解決する、情報量の多い埋め込みを構築します。OpenSearch Service のこの新しいスパース検索機能には、ドキュメント専用モードと Bi-encoder モードがあり、それぞれ異なる利点があります。ドキュメント専用モードは、高密度の方法に比べて高度な構文の点で制限がありますが、字句検索に匹敵する低レイテンシーのパフォーマンスを実現します。Bi-encoder モードは、高レイテンシーで実行しますが、検索関連性が最大になります。今回の更新により、ユーザーはパフォーマンス、精度、コストの要件に最適な方法を選択できるようになりました。
Neural Sparse Retrieval は、Amazon OpenSearch Service が利用可能なすべての AWS リージョンで利用できるようになりました。OpenSearch Service 2.11 へのアップグレードについての詳細は、ドキュメントをご覧ください。
Amazon OpenSearch Service の詳細については、製品ページを参照してください。