内部資料をチャットボットで効率的に検索する

自治体の皆様とご一緒していると、各府省から発行されるガイドラインや手引きが多数存在し、もちろん自治体の中での資料があるため、情報を探すことに非常に多くの労力をかけられているようにお聞きします。

さらに、自治体では定期的な異動があるため異動の度に新しい情報を受け取る必要がありますが、どの資料に何が書いてあるのかを瞬時に把握することは難しいです。

そんな自治体の皆様の情報検索における手間を生成 AIで効率化できないか考えてみました。

生成 AIでガイドラインや内部資料に対し、対話形式での検索が行えるように考えました。

これにより膨大な資料をキーワードで検索して資料を隅々まで読み込まずに、自分の知りたいことを対話形式で問い合わせて、要約された答えを得ることができます。
また、要約された回答の引用元の資料についても表示することができるので、答えの確からしさをチェックすることができます。

職員 : 引越し申請の誤記訂正って終わったら誰の確認が必要なんだっけ？
チャットボット : 課長に確認及び承認をいただく必要があります。引用元の資料はこちらです。

のようなやり取りがされるといいですよね。

生成 AI を活用する場合に必ず閉じたシステムでデータを保護することが大前提となります。

昨今、生成 AI（Gen AI, Generative AI）として大規模言語モデル（LLM, Large Language Model）を導入した、対話形式の情報収集が発展しています。しかし、「ハルシネーション (誤った発言) への懸念 」「自治体内データへのアクセス」「組織外へデータが流出する危険性」などの心配により、自治体への導入にはハードルがあります。この問題解決に Amazon Kendra をはじめとする AWS サービスが役立ちます。

次の図は内部資料検索チャットボットのアーキテクチャを示しています。

チャットボットによる自治体の内部資料検索は、以下の手順で実行されます。前提として、Kendra を自治体内のデータソースへ接続し、自治体内の資料を読み込ませます。

1. 職員は生成 AI アプリケーションに対話形式で問い合わせる
2. 生成 AI アプリケーションはその内容を Kendra に入力する
3. Kendra はデータソースから関連するドキュメントを含む検索結果を返す
4. Kendra から得られた検索結果と職員の問い合わせ内容を LLM プロンプトとして入力する。
5. 入力されたデータに基づいてLLM で文章要約を行い、レスポンスを返す
6. LLM からの応答を生成 AI アプリケーションから回答する

これにより、生成 AI アプリケーションの出力は自治体内データのみに制限し、ハルシネーションを軽減することができます。これは、検索拡張生成 (RAG, Retrieval Augmented Generation) と呼ばれる手法を Kendra で実現した例となります。また、今回の構成では AWS の AI/ML サービスを利用して LLM を生成 AI としてデプロイすることで、職員の検索内容と Kendra からの入力が外部に流出することを防ぎます。

これにより、先述した懸念が大きく軽減され、自治体内データに関する効率的な資料検索を安全に実現できます。（AWS で実現する RAG について詳細を知りたい方は、こちらのブログもご覧ください。）

膨大なガイドラインや内部資料を把握する必要があり、異動の多い自治体職員の皆様に情報収集の効率化をしていただきたく、内部資料検索チャットボットを提案しました。

RAG による資料検索では、会話ベースの質問で中身を要約した回答と引用元資料を得ることができます。そのため従来のキーワード検索と比較して、キーワードを一つずつ思い浮かべながら入力する手間と、大量の資料の読み込みが不要になります。

また、今後の展開として市民向けの情報を別のシステムとして作り直すことで、市民にとってもやさしいサービスを提供できるかもしれません。