【寄稿】生成 AI によるシステム運用業務の効率化を目指すファミリーマートの取り組み

こんにちは。ソリューションアーキテクトの阿南です。株式会社ファミリーマート（以下、ファミリーマート）システム本部 IT基盤部 クラウド推進グループでは、システム本部における AWS の開発・運用ガイドラインを定め、AWS システムの標準化を進めています。また、同 PMO・品質管理チームは、ファミリーマートのシステム開発プロジェクトにおいて客観的な視点で QCD を管理・コントロールしプロジェクトの品質を確保する取り組みをしています。本ブログは、ファミリーマートがどのように AWS 上で生成 AI をシステム開発に活用し、クラウド推進業務や品質管理業務の負荷低減を図っているか、ファミリーマート システム本部 IT 基盤部 クラウド推進グループ 朴明振 氏、柿澤拓哉 氏、同 PMO・品質管理チーム 藤田孝 氏から寄稿していただいたものです。

背景

AWS 阿南：クラウド推進業務に生成 AI を活用するに至った背景を教えてください。

ファミリーマート 朴氏：ファミリーマートはコンビニエンスストア事業に必要なシステムをオンプレミス環境で運用してきましたが、2017 年末からクラウドサービス (AWS) を活用することとなり、2024 年現在は多くのシステムが AWS で稼働しております。また、新規システムも多くが AWS 上での開発を予定しています。クラウド推進グループでは社内システムの AWS 移行・開発作業を支援しておりますが、生成 AI を利用することでより効率的な支援が可能であると判断し、導入を検討することになりました。

AWS 阿南：今回はクラウド推進業務に加えて、品質管理業務への生成 AI 活用もご検討されていますね。PoC の対象を拡大するに至った背景を教えてください。クラウド推進業務とは異なるニーズがあったのでしょうか？

ファミリーマート 藤田氏：PMO・品質管理チームはファミリーマートにおけるシステム開発の QCD 向上を目的として 2023 年に設立した新たなチームです。過去のシステム開発プロジェクトにおけるノウハウや教訓、PMO・品質管理チームメンバーのさまざまな知見を用いてプロジェクトを計画どおりの QCD で遂行していくことが求められます。システム開発の規模が大規模で複雑化することも多くあり、今までの教訓や担当者が持っている知見を効率的に活用をしていくことが望まれるという課題がありました。そのような背景の中、生成 AI を取り入れることで課題解決につながるのでは無いかと考えました。

チャットボットについて

AWS 阿南：さっそくですが、業務を支援するために作成されたチャットボットについてお伺いしたいと思います。まずクラウド推進グループでは、どのような業務が対象となったのでしょうか？

ファミリーマート 朴氏：ファミリーマートでは既存システムとの連携とセキュリティ向上のためさまざまなルールを設けており、このルールに対した問い合わせ対応や手続きの案内などを対象として考えています。また、ファミリーマートでは AWS サポートセンターへ問い合わせた過去の実績をデータベースとして別途管理しており、ファミリーマート環境で発生したトラブルについて過去の実績を素早く回答を得られる仕組みも検討しています。

AWS 阿南：PMO・品質管理チームでは、どのような業務が対象となりましたか？

ファミリーマート 藤田氏：PMO・品質管理チームでは大きく３つの業務領域を対象としています。①品質向上（プロジェクトのリスク管理業務）②ノウハウ蓄積・共有（メンバー間でのノウハウ共有）③生産性向上（必要な社内情報に対してすみやかにアクセスして情報を入手出来ること）

AWS 阿南：どちらの業務も、基準となるドキュメントやレビュー対象のドキュメントが存在し、その情報を効率的にまとめる、検索するという作業が重要なものですね。

ファミリーマート 朴氏：はい、そのため検索対象となるドキュメントを Amazon S3 のバケットに保存し、Amazon Kendra から検索できるようにしました。Kendra の検索結果を Amazon Bedrock を通して大規模言語モデル（LLM）モデルを利用することで、自然言語での回答を得られる仕組みですね。またサポートへの問い合わせもクローズになるタイミングで自動的に S3 にアップロードし、定期的に Kendra に Syncできるようにしていますし、社内ドキュメントの内容も継続補強しています。

チャットボットのアーキテクチャ

PoC の評価手法

AWS 阿南：評価手法についても事前に定義をして定量的な評価を実現されていました。どのような評価手法を取られたのかご紹介いただけますでしょうか？

ファミリーマート 藤田氏：PoC を開始するにあたり実施メンバー間でどうしたら効果的な PoC が出来るかディスカッションを経て PoC 計画を策定しました。ディスカッション時に多く懸念としてあがったのは PoC の進め方とゴールについてです。闇雲に実施しては最終評価が難しくなると考えたので、あらかじめ PoC 実施結果内容を定量的に測定することが出来るように工夫しました。具体的には、プロンプト自体に難易度のレベル定義づけをして（レベル低・中・高の順に進める）、生成された回答をさらに 5 段階（５：非常に役立つ〜 １：役立たない）で評価をし結果を数値化していきます。PoC の計画時点で最終評価があらかじめ定めたベースライン (3.0) の点数を超えることが出来れば次のステージに進むこととし、もし超えることが出来なければ PoC を中止することを事前に定義して進めました。

PoC で定義したプロンプトの難易度と結果評価レベル

AWS 阿南：今回の PoC の評価はどのような結果となりましたか？

ファミリーマート 藤田氏：最終評価としては、全体平均 3.6 点となり事前に定めた基準「3.0」点を超える結果となりました。PoC で評価が高かったものは要約／テキスト生成／質問応答等の PoC カテゴリでした。PMO・品質管理チームではボリューム感のあるシステム開発ドキュメントを読み込むことも多いので、事前に生成 AI に要約させてポイントを理解して読むことで効率的／効果的に読込め生産性向上が期待出来ると考えています。逆にまだ実業務への活用には改善が必要があると思われたものは計算／推理を伴うものでした。

PoC の最終評価

工夫した点

AWS 阿南：今回活用の対象とした業務において、どのような要件があり、それらをどのような工夫で実現したか教えてください。標準的な RAG 構成では実現できないものがあったと思います。

ファミリーマート 柿澤氏：PMO・品質管理チームの業務では、各プロジェクトの設計資料が Kendra の検索対象となります。あるプロジェクトについての質問に他のプロジェクトの設計資料が参照されることが無いようにする必要がありました。PoC の段階では利用者も限定されていることもあり問題となることはありませんでしたが、今後対策すべき課題であると考えています。プロンプトで制御する方法も検討しましたが、厳密さを重視し、Kendra の Custom Document Enrichment 機能を用いて各ドキュメントにプロジェクトを示す属性を付与し、検索時に対象とするプロジェクトを Attribute Filter 機能で制限するという手法を採用予定です。

AWS 阿南：精度向上という観点では何か工夫がありましたか？

ファミリーマート 柿澤氏：AWS のブログ Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証を参考に、Kendra に対するクエリを複数のクエリに拡張することで多様な検索結果を取得して精度を高める手法であるクエリ拡張を採用したいと考えております。PoC の中でそれぞれの質問に対して業務に役立つ回答が返ってきたかどうかを確認する過程で、役に立たない回答が返ってきた例では、そもそも Kendra からのドキュメント検索の時点で適切なドキュメントが検索できていないというケースが見られました。クエリ拡張を採用することにより、Kendra から適切なドキュメントを参照することができるようになり、最終的に Bedrock からもより業務に役立つ回答が生成できるようになる見込みとなります。

Why AWS？

AWS 阿南：システム本部支援のために、AWS の生成 AI を採用された決め手を教えてください。

ファミリーマート 朴氏：ファミリーマートでは既に多くのシステムが AWS で稼働しており、システム本部の開発業務をサポートするためのサービスとしては Bedrock と Kendra が最適であると思いました。また、GitHub の aws-samples にサンプルアプリケーション Generative AI Use Cases JP が公開されていて、迅速に PoC を進めることができることも大きい理由の一つです。

今後の展望について

AWS 阿南：このチャットボットや、その他 AI の取り組みは今後どのように進めていく予定ですか。

ファミリーマート 朴氏：今のところは主な利用部署はクラウド推進グループと PMO・品質管理チームになっています。2024 年度下期から本格利用開始できるよう計画しています。また、AWS サービスと社内システムの開発タスクを連携して、システム本部全体的に活用できるように検討していく予定です。

著者について

朴 明振

韓国で大学を卒業し、日本でキャリアをスタート。インフラエンジニアとしてオンプレミス環境に関わりながら 2015 年に AWS と出会い、その後は AWS エンジニアとして会社に貢献しています。ファミリーマートには 2023 年入社、クラウド推進グループの CCoE メンバーとして主に AWS 環境の整備や改善を担当しています。

柿澤 拓哉

2012 年より SIer にて AWS をメインとしたインフラエンジニアとして従事。ファミリーマートの AWS の本格利用に伴い、2018 年より環境整備を担当し、現在もクラウド推進グループのメンバーとして対応。

藤田 孝

2024 年 1 月ファミリーマート入社。前職は SIer でシステム構築・運用やプロジェクトマネジメントを担当。専門領域はインフラ領域でファミリーマート PMO・品管チームにおいてもインフラ系のアーキテクトとしてシステム開発プロジェクトに対し客観的な視点で QCD 管理やコントロールを担当。