セゾンテクノロジー、Amazon Bedrock を活用して高精度かつハルシネーションがない HULFT Square のアシスタント機能を開発。80％ のユーザー満足度と 24％ の業務効率向上を実現

『HULFT Square』のユーザー向け AI アシスタントの開発

セゾンテクノロジーは 2023 年、オンプレミス、クラウド、SaaS などの環境に分散されているデータを、業務、業種、国・地域をまたいで安全・安心に連携できるクラウド型データ連携プラットフォーム（iPaaS）『HULFT Square』をリリースしました。インフラ基盤には AWS を採用し、サーバーレス/マネージドサービスでアーキテクチャを構成しています。「アジャイル開発や DX 推進に向けて、クラウド上で業務基盤を整備したいお客様のニーズに応えて、クラウドネイティブなプラットフォームを開発しました」と語るのは執行役員で CTO の有馬三郎氏です。

HULFT および HULFT Square のサービスを拡充するべく、生成 AI にいち早く着目した同社は、2023 年 5 月に大規模言語モデル（LLM）を研究する社内横断組織『LLM Mavericks』を設立し、20 数名の社員で活動を開始しました。

「生成 AI は高い可能性を秘めている一方、金融機関や公共機関での利用実績が多い HULFT を提供する当社としては慎重に取り組む必要があります。そこでまずは自分たちで試してみる組織として LLM Mavericks を立ち上げました」（有馬氏）

LLM Mavericks では、Web チャットボットや種々の生成 AI アプリを開発しながら、社内利用を推進してきました。こうした中、2024 年 5 月より新たに取り組んだテーマが、テクニカルサポート担当者向けの回答支援です。HULFT 製品のテクニカルサポートセンターでは、歴史の長い製品のサポートにあたり、過去分を含め数万ページものマニュアルや FAQ、過去の問い合わせ履歴から必要な情報を検索して回答を作成しています。しかし、経験の浅い若手のサポートエンジニアは回答作成に心理的負担を感じることから、検索を効率化するための支援を求められたのがきっかけでした。

一方、技術的な課題として検索精度の向上がありました。そこで精度が高いモデルを複数選べる Amazon Bedrock を採用し、Anthoropic と Cohere を組み合わせたり、試行錯誤を重ねたりしながら開発しました。開発を担当したエンジニアである DI本部 データインテグレーション統括部の石原直樹氏は「RAG の手法として検討した“Amazon Bedrock Knowledge Bases”、“Amazon Kendra + Amazon Bedrock”、“Amazon Bedrock と OSS を組み合わせて実現した Advanced RAG”の 3 つに対して、HULFT 製品の認定試験を数 100 問解かせて精度を検証し、正答率が最も高かった Advanced RAG による手法を採用しました」と語ります。

この仕組みにより、サポートエンジニアの回答作成時間を最大 30％ 短縮しました。その後、AWS が公開している AI/ML を活用するためのワークショップ ML Enablement Workshop（MLEW）の活用を決め、メンバー数名が受講。これを機にプロダクトへの組み込みを決断し、2024 年 7 月より HULFT Square の活用方法をユーザーがセルフで解決できる『HULFT Square AI アシスタント（以下、AI アシスタント）』の開発に着手しました。サービス企画を担当した営業本部 事業企画統括部プロダクト企画部 部長の菊石謙介氏は「MLEW に参加したことで安全に生成 AI を活用するための注意点や技術課題への理解が深まり、プロダクト開発の一歩を踏み出すことができました」と語ります。

ハルシネーションの抑制に向けて Amazon Bedrock による制御メカニズムを導入

AI アシスタントの開発は、社内のサポートエンジニア向けに提供した RAG システムをベースとしました。開発期間の短縮を重視して、AWS の公式ユースケース集 Generative AI Use Cases JP（GenU）を活用。GenU をカスタマイズして、RAG システムと連携することで機能追加を実現しました。

プロダクトとして提供するうえで、開発チームが重視したのはユーザー体験の向上です。そこで社内検証時には、複数のモデルが選べる Amazon Bedrock の利点を活かしてモデル比較を実施しました。質問に対して 3 つのモデル（Cohere Command R+、Claude 3 Opus、Claude 3.5 Sonnet）の回答を提示し、結果に対する満足度を評価しました。

「検索結果の回答だけでなく最終的な解決策までアドバイスする Claude 3.5 Sonnetの品質が最も高いと評価しました」（石原氏）

AI アシスタントによりユーザーが HULFT Square を利用する際の敷居を下げる一方、誤って回答するハルシネーションを押さえる必要がありました。

「そこで、法務部門からのアドバイスをふまえて、回答制御メカニズムを複数検討し、Amazon Bedrock Tool Use による入出力チェックの仕組みを導入しました」（石原氏）

社内検証で 80％ の社員が満足し、業務効率を平均 24％ 向上

AI アシスタントは約 2 か月で開発を終えました。現在は社内の全部門に解放し、約 700 名が自由に利用することができます。検証時に社内の約 300 名に実施したアンケートでは、80％ が「役立つ」「非常に役に立つ」と回答を寄せ、業務効率は平均で 24％向上したという結果を得ています。

HULFT Square のプリセールスを担当する営業本部 事業企画統括部 プロダクトセールスエンジニアリング部の濱口颯氏は「HULFT Square をお客様に検証していただく際、私たちに寄せられる質問に対して、回答時間が短縮できれば、QA 対応の工数が削減できます。将来的にお客様自身で解決できるようになることも期待しています」と語ります。HULFT Square のシステムインテグレーションを中心としたプリセールスを担当する営業本部 DI セールスエンジニアリング部の山本進之介氏も「私たちが伴走支援して HULFT Square を導入していただいた後、お客様自身で開発・運用を進めていくうえで、内製化が思うように進まないという課題がときには見受けられます。こうした課題も AI アシスタントで解決できれば、お客様の内製化のハードルが下がることが期待できます」と語ります。

エンドユーザーに対しては数社の取引先に提供してフィードバックを収集している段階です。将来的には、単体の Web アプリケーションとしてではなく、HULFT Square 本体に機能を組み込むことでより利便性の高めることを目指しています。

「今後はユーザーの質問に回答するチャット形式だけでなく、開発者を AI がアシストする形での提供や UI の改善も検討しています。ワークフロー実装の自動化や、お客様向け HULFT アプリの実装支援も構想しているので、AWS には引き続き情報の提供と技術支援に期待しています」（有馬氏）