株式会社 JDSC 様の AWS 生成 AI 事例「Amazon Bedrock を活用した横断検索システムによる専門的な工数の 97% 短縮」のご紹介

本ブログは株式会社 JDSC 様と Amazon Web Services Japan が共同で執筆いたしました。

みなさん、こんにちは。 AWS ソリューションアーキテクトの瀬高です。

日々のお客様との相談会を通して、生成 AI への注目度が高まっているのを感じる今日このごろです。その中でも、生成 AI に対して信頼できる知識ベースへの検索機能をかけ合わせた検索拡張生成、いわゆる RAG (Retrieval Augmented Generation) が業務効率化やデータの利活用方法の出口としてイメージしやすいところから人気があるように感じています。

今回ご紹介する事例は、株式会社 JDSC 様が海運事業を取り組んでいるお客様に対し RAG を構築した事例となっています。RAG を構築するだけでなく、Amazon Bedrock の特徴を活かしたモデルの使い分けや、専門用語に対する Claude の強さを活かし、専門的な工数の 97% を削減し、従来システムに対して 30% の精度向上を実現しています。

本取り組みは JDSC 様の NEWS にも掲載されています。合わせて御覧いただければと思います。

お客様の状況と経緯

JDSC 様は日本の産業をアップデートすることを使命とした、東京大学発の AI 企業で、機械学習などを活用した開発、運用やデータサイエンスに関するコンサルティング事業などを行っている企業となります。

エンドユーザーの社内では契約書や技術情報などの専門的なドキュメントがおよそ 1 万部ほどあり、業務に携わるメンバーはこの中やメールなどのタイムリーな情報も含めて横断的に質問に対する答えを探す必要がありました。ドキュメントの数やサイズも大きく目的の情報を探し出すまでの時間がかかる点や、属人的なノウハウが必要になっている点が課題となっており、数十秒で質問に対する答えを出せるようにしたいというニーズをお持ちでした。

また、お客様からのお問い合わせへの対応も進めていきたいという要望もあり、あらゆる情報を一元的に早く調べようとすると検索時間が多くかかる点に、ビジネス的な課題を感じられているとのことでした。

JDSC 様は RAG を構築することで、上記課題の解決を図ろうと検証を進めていました。
その中で、以下のような課題が出ていました。

• ファイルサイズの大きさに伴う入出力のトークンサイズ
• 入力意図の誤認識や専門的な単語の認識率
• 禁止ワードへの過剰反応
• 金銭的なコストの高さ

そこで、当時発表されたばかりの Anthropic 社の生成 AI モデルである Claude 3 やデータストアとなる Amazon Kendra 、Amazon OpenSearch Service、Amazon RDS for PostgreSQL を Generative AI Use Case JP を参考に検証していただくことになりました。

ソリューション / 構成内容

検証の結果、下記のように Claude 3 とデータストアとして Amazon RDS for PostgreSQL を利用する構成を取ることに決定しました。

今回使用しているモデルは Claude 3.5 Sonnet と Claude 3 Haiku を利用しています。ベクトル検索の結果に含まれるドキュメントの一部が返却された際に Haiku でそれぞれ結果が役に立つかのチェックを行い精度の向上を図り、最終的なユーザーが触れるレスポンス文生成のところでは処理性能に優れる Claude 3.5 Sonnet を活用することで優れた文章表現を実現しています。

Amazon Bedrock + Claude を採用したポイントとして、プロンプトへの追従性や使い勝手、大きなトークンが扱える点、運用管理が AWS で完結する点、AWS のサポート体制などに魅力を感じてご採用いただきました。

開発当初は Claude 3 Sonnet を利用する予定でしたが、Bedrock が持つ特徴でもあるモデルの切り替えやすさを活かして Claude 3.5 Sonnet や Amazon Titan Text V2 などの当時の最新モデルを更に検証し Claude 3.5 Sonnet へスムーズにアップデートしてローンチしました。3.5 へのアップデートを行ったことで、利用者の質問に対して意図の汲み取りがよりスムーズにできるようになり顧客満足度の向上につながったと伺っています。

また、Generative AI Use Case JP についても「何から手をつけていいかわからない状態からのスタートだったが、動作するイメージがわかりやすくドキュメントも充実しているためスムーズにカスタマイズしていけた」とのコメントをいただいています。

導入効果

実際にエンドユーザーの方々に使っていただいた結果、下記のような良い結果が得られ AI の活用を更に推し進めていきたいとのご評価をいただいています。

• お問い合わせの対応時間が約 97% 短縮
• 的確な回答を行う回答精度が 30％ 向上
• 回答作成をする属人的なノウハウや専門知識の必要性が下がり人材の幅が拡大

また ソリューション / 構成要素でも触れた Bedrock の持つ特徴の一つである、モデルの切り替えやすさを活かしたアーキテクチャを組んでいることで、今後出てくる新しいモデルの導入もスムーズにできる状態になっており、さらなる精度向上やコストダウンも見込まれています。

まとめ

今回は海運事業を取り組まれているエンドユーザー様向けに専門的な RAG を構築された事例をご紹介いたしました。Amazon Bedrock や Claude の特徴を活かしお客様のビジネスを加速させる取り組みをなされています。

また、移り変わりの激しい、新たにでたモデルに対しても Amazon Bedrock の特徴を活かしながらスピーディに検証していただいております。生成 AI 活用の幅が更に広がる取り組みになっているので是非ご参考いただければと思います。

構築方法など、ご不明な点があればお問い合わせいただければと思います。ぜひお試しください。

株式会社 JDSC : Technical Co-Founder 橋本 圭輔 様 (中央)
Amazon Web Services Japan : アカウントマネージャー 菊地 晋哉 (左)、ソリューションアーキテクト 瀬高 拓也 (右)

ソリューションアーキテクト 瀬高 拓也 (X – @stktky)