Amazon Web Services ブログ
ANA X が実践する生成 AI でのお客様の声 (VoC) 分析
※ この投稿はお客様に寄稿いただいた記事です。
ANA X について
ANA X は、ANA グループのプラットフォーム事業会社です。航空・旅行事業をはじめ、ANA カードに代表されるライフサービス事業を通じて培った顧客基盤を土台に、お客様の人生を豊かにするサービスを創造し、人の移動を通じて地域・社会課題の解決にも貢献していくことを目指して取り組んでいます。
ANA システムズについて
ANA システムズは、 ANA グループを高度な技術力で支える、グループ唯一の IT プロフェッショナル企業であり、エアラインビジネスに直結した企画・提案や大型プロジェクトの受託開発、空港や事業所への展開から稼働後のシステム運用保守まで、幅広い分野を担っています。私たち CX マネジメント部カスタマコミュニケーションチーム(以降 ASY と称す)は、 ANA X のコンタクトセンターのシステム運営を行っています。
1. はじめに
ANA X は、リアルとデジタルの接点を通じて、旅行商品とマイレージプログラムに付随した商品の提供を行っています。コンタクトセンターの通話内容には、商品そのものだけでなく、商品提供までの顧客体験 (事前から事後まで)、 WEB サイトやアプリの操作使用感など、あらゆる要素が含まれています。私たちは、お客様からの問い合わせ内容 (Voc/Voice of Customer) を見返し、改善策を検討、意思決定をしています。これらの改善には、コンタクトセンターの生産性向上や対応改善に関わるものだけではありません。サービスそのものを使いやすくする改善も含まれるため、ビジネスの成功の要になると考えています。
これまでも、対応時間や問い合わせ理由などの分析によるワークフォースマネジメントでの改善においては、 Amazon Connect Contact Lens 機能、テキストマイニングを使用し改善を図っていました。しかしながら、問い合わせ対応が長時間化する原因分析、顧客ニーズの詳細分析においては課題がありました。
そこで、私たちは生成 AI 技術に注目し、従来の分析手法では見逃されがちだった微細なトレンドやパターンを正確に把握し、分析する手法を発見しました。本ブログでは、生成 AI がコンタクトセンターでの VoC 分析にどのように貢献するか、特に最新の LLM (大規模言語モデル) 技術を用いた手法の利点と従来手法との比較した際の優位性についてを紹介します。
2. コンタクトセンターの VoC 分析における課題
私たちは、2022 年に Amazon Connect を導入し、 VoC 分析には、Amazon Connect Contact Lens 機能の通話文字起こしデータをテキストマイニングツールで分析していますが、いくつかの課題がありました。
-
素起こしの音声データ
素起こしとは、聞こえた通り、そのままの音声を文字に起こすことで、 「あのー」「えーっと」「うー」などの意味のない言葉も省略せず書き起こすことです。その場の臨場感や会話の雰囲気が最も良く伝わる仕上げ方です。素起こしの音声データは、臨場感や会話の雰囲気は伝わる一方で、データをそのままテキストマイニングで分析しようとすると、意味のない言葉などが上位ワードとして捉えられるなど、分析の阻害要因となっていました。
-
コールリーズン (問い合わせ理由) の分類
コールリーズンの分類は、事前に決められた項目に基づいて通話応対者の主観で通話後行われており、問い合わせトレンドの実態と乖離しています。これまでのテキストマイニングでは頻出語に基づいて詳細分類を行っていました。そのため、言葉の意味や業務フローを踏まえた適切な分類が難しく、修正が必要となり、結果的に分析者視点に依存した分類基準になっています。
-
時間のかかる分析時間
サービス改善につなげるには、より詳細な分析を行い、通話内容を目視で確認する必要があり、約100件の分析において、通話内容の確認で3日、分類作業を含めた分析作業に1週間程度の時間を要していました。
3. LLM を活用した新しい VoC 分析方法
Amazon Bedrock (Anthropic 社 Claude 3 Sonnet) を活用し、 VoC 分析を行いました。
私たちが実施した通話分析手法は以下の通りです。
- LLM を使用して各通話から顧客の問い合わせ理由を推測・抽出
- 抽出した問い合わせ理由を LLM で分類し、カテゴリーを作成
- 各通話の問い合わせを、作成したカテゴリーに分類
- 分類されたコールリーズンを集計
図1. LLM を使用した分析フロー
通話内容の文字起こしデータは膨大な量があるため、効率的に分析を行うため、 Google スプレッドシートと Apps Script を用いて Amazon Bedrock ( Anthropic 社 Claude 3 Sonnet ) を実行し分析を行いました。
図 2. ANA X 約 200 通話を対象としたコールリーズン分析
4.効果・利点
-
コールリーズンを LLM で自動的に分類可能
従来は、どのような分類方法が有益なのか分析者が考え、設定した項目に基づいてコールリーズンを分類していました。一方で LLM を導入することで、コールリーズンの分類を自動で行えるようになります。また、素起こしによる相槌や言い直しが多いデータでも、文脈に沿って認識・分類できるようになります。
-
1 つの通話内に存在する複数のコールリーズンを可視化
通話終了後、通話対応者が決められたコールリーズンの中から 1 つを指定し、それをもとに集計を行っています。実際の電話応対では複数の事象に対応することが多く、メインの通話内容以外の情報は集計されていませんでした。システムとしては、複数選択対応も可能でしたが、対応者の作業効率と通話時間の最適化を優先し、単一選択のみとしていました。
LLM を用いて分析を行うことで、これまで見過ごされていた詳細なコールリーズンを可視化し、より細かな分析が可能になりました。
-
人手による分類作業、詳細分析時間の削減 (60％ 減)
これまで、分類作業の修正を分析者が行い、詳細分析においても、通話の文字起こしデータを目視で確認していました。一方、 LLM によるコールリーズン分類では、概要を確認することで、作業時間の短縮が見込まれます。
-
コミュニケーター業務の軽減
副次効果として、電話応対者が通話後にコールリーズン入力作業を行う必要がなくなり、 ACW (After Call Work)の短縮が見込まれます。
5. LLM の導入と学習プロセス
生成 AI の導入を検討している方々にとって、どこから手を付けるべきか悩むことが多いでしょう。私たちも同じ疑問を抱えながらスタートしましたが、ご紹介するステップを踏むことでスムーズに導入を進めることができました。
-
LLM の可能性を探る
まず、 LLM の可能性を探るため、私たちは、 AWS が主催するプロンプト大会に参加することから始めました。ユーザー部門である ANA X とシステム部門である ASY が一緒に参加したこの大会では、 Amazon Bedrock と Google スプレッドシートを連携させた AI 練習帳を使用して実際にプロンプトを作成し、生成 AI に関する前提知識、プロンプトの書き方を学ぶ貴重な経験を得ることができました。
-
社内プロンプトワークショップの開催
AWS プロンプト大会での学びを活かし、次のステップとして社内でプロンプトワークショップを開催しました。このワークショップでは、 AWS プロンプト大会の形式をベースとしながら、機密情報を削除した実際の通話データを使用してより実践的な内容とし、異なる部門のメンバーでチームを組み、多様な知見を組み合わせてプロンプトを作成しました。
図 3. AWS プロンプト大会
このプロセスを通じて、以下のような重要な学びを得ました。
-
実データの重要性
実際の通話データを使用することで、理論と実践のギャップを埋め、より実用的なプロンプトの作成が可能になります。実際のデータは、内容に親近感があるため、結果がリアルに伝わります。LLM を用いた分析が実際のビジネス課題解決にどのように貢献できるかを具体的に理解することができます。生成 AI の分析において「データが実物であること」は重要だと感じました。
-
多様性と協働がもたらす LLM 活用の可能性
ユーザー部門、システム部門メンバーの協働により、 LLM を使った VoC 分析に新しい視点がもたらされました。
プロンプト大会、プロンプトワークショップでは、「通話内容の要約」を課題としました。そこで最後に成果の発表を行ったところ、リーダークラスのチームでは「数行程度の要約」、現場クラスのチームでは「時系列に沿った要約」「5W1H に沿った要約」などが発表されました。このようにユーザー部門の中でも利用者によって、欲しいデータが異なるという気付きがありました。また、それぞれのチームのプロンプトを深堀るとユーザー部門が発案した「件名」や「時系列」といったキーワードが強く影響しており、単なるテクニックの羅列では解決できないことも学びました。
この多様性が効果的な分析手法の開発と LLM の可能性の多角的理解につながりました。部門横断的な協力が革新的ソリューションと有益な洞察を生み出し、クロスファンクショナルな協働が LLM 活用の可能性を広げることを実感しました。
6. 成功のポイントと教訓
-
プロンプトエンジニアリングに注力すること
LLM の性能を最大限に引き出すためには、プロンプトエンジニアリングが不可欠です。そのため、 LLM 選定に過度な時間を費やすのではなく、どの LLM を使うかよりも、適切なプロンプトの設計に注力しました。特に、実用的なプロンプトの作成に注力し、現実の業務で役立つ出力を得ることを重視しました。また、システム部門だけでなく、日々身にしみて困っている「ユーザー部門」と膝を突き合わせて一緒にプロンプトを作ることがより効率的でした。
-
既存のツールで何ができるかにフォーカス
新しいツールやソリューションに目を向けつつも、まずは既存のツールを活用することに重点を置きました。具体的には、 Google スプレッドシートと Apps Script を用いて Amazon Bedrock を実行し、分析方法の検証を行いました。このアプローチにより、コストを抑えつつ、迅速に実験を進めることができました。
7. 結論
生成 AI の選択に悩む時間よりも、むしろ、生成 AI を前提として業務をどのように設計し、効率化できるかを考えること、実践しながら検討することが重要です。これからは、 AI と人間がどのように協働し、より価値の高い成果を生み出せるかが、企業の競争力を左右する重要な要素となると考えています。ANA Group の業務には、まだまだ生成 AI による業務改善が可能な領域が、たくさんあります。生成 AI 技術を駆使し、リアルとデジタルの融合によって、お客様一人ひとりに寄り添ったサービス体験を提供してまいります。
スペシャルサンクス
この執筆に協力いただいた、私たちチームの方々
- ANA X株式会社 カスタマーコミュニケーション部 企画推進チーム リーダー 三澤 康之
- ANA X株式会社 カスタマーコミュニケーション部 企画推進チーム マネジャー 樋口 謙太郎
- ANA X株式会社 R&D 推進部 ライフソリューションチーム リーダー 深田 幸子
- ANA デジタル変革室 旅客システムソリューション部 基幹システムチーム 砂山 彩子
- ANA システムズ株式会社 CX マネジメント部 カスタマーコミュニケーションチーム マネージャー 木戸 達夫
執筆者
ANA システムズ株式会社 CX マネジメント部 カスタマーコミュニケーションチーム
野地 恵美
元空港系職員 (ANA 成田エアポートサービス株式会社) 、IT 歴 3 年目
