Poetics、商談の内容を要約する大規模言語モデルに Amazon Bedrock を採用。要約精度の向上などにより成約率 1.5 倍を実現

2 万～3 万トークンに対応する大規模言語モデルを検討

音声感情解析 AI のスタートアップとして、2017 年に設立した Poetics。現在、言語・音声 AI の開発と、商談解析 AI サービスの『JamRoll』を主力事業としています。

JamRoll は商談を録画、文字起こし・要約、音声・感情解析で情報共有の自動化と営業組織育成の効率化を支える SaaS 型サービスです。録画した商談の内容を、自社開発した高精度の音声認識 AI により文字化し、重要なキーワードが発生した箇所を即時に可視化します。商談時のポイントは、大規模言語モデル（LLM）によって自動要約されるため、商談内容を振り返ることで、次のアクションにつなげることができます。

また、商談内容は連携する SFA/CRM ツールへと自動的に転送できるため、入力工数の削減にもつながります。

「これまで営業担当者個人のスキルに依存し、ブラックボックス化していた商談の内容を会社の資産として可視化・分析することで、営業力を高めることができます。商談後の議事録作成や SFA ツールへの入力を自動化できるため、営業担当は業務に集中することができます」と語るのは、代表取締役の山崎はずむ氏です。

JamRoll は、同社が保有する高度な音声・感情解析技術をベースに開発され、2022 年 6 月にリリースされました。きっかけは、コロナ禍で多くのビジネスコミュニケーションがデジタル化され、データ解析が可能になったことにありました。

「当社の音声・感情解析技術を活かすため、顧客接点により近い商談に着目しました。おかげさまで契約数はリリースから 2 年間で数百社、数千 ID に達しています。その中には成約率を 20 ％ ほど向上させたお客様や、商談後の入力工数を 90 ％ 削減させたお客様がいらっしゃります」（山崎氏）

JamRoll の重要な機能の 1 つである自動要約を行う LLM は、リリース当初は他社のサービスを利用していましたが、1 時間超の会議を一度に要約することができませんでした。そこで同社は長文の要約に対応する LLM への移行を模索。AI Research Lead の河東宗祐氏は「従来はテキストを分割して中間要約したものを再帰的に結合していたため、品質に課題がありました。精度をより高めるためにも一気通貫で対応できる LLM が必要でした」と振り返ります。

既存アーキテクチャとの親和性を評価して Amazon Bedrock を採用

新たな LLM を検討した同社は、2023 年 12 月より東京リージョンに対応した Amazon Bedrock の Claude モデルに着目。2024 年 3 月に Claude モデル と他サービスを検証し、Claude モデルの採用を決めました。加えて、Claude モデルは、日本語に対する情報抽出の性能、トークン単位のコスト、既存アーキテクチャとの親和性でも高く評価しました。

「JamRoll のサービス自体を AWS 上に構築しているため、アクセス権限などの機能も開発側がそのまま使うことができます。将来性を考えても Claude モデル以外にさまざまな LLM が試せる Amazon Bedrock は魅力的でした」（河東氏）

Amazon Bedrock の導入は 1 か月程度で完了し、2024 年 4 月より Claude モデルに切り替えました。

「導入時は、利用者が要約情報を活用しやすくするために LLM の出力を一定のフォーマットで構造化するように工夫し、構造化エラーが起こることがないようにプロンプトエンジニアリングを心がけました。また、Claude モデル が得意とする XML タグを活用したプロンプトエンジニアリングにより、書き起こしに対応したタイムスタンプを指定し、書き起こしの内容と要約をアプリケーション上で可視化できるようにしました」（河東氏）

アーキテクチャの工夫としては、AWS のサービスクォータが上限を超えないように複数のアカウントを用意して分散し、大量のリクエストにも耐えられるようにしています。

Amazon Bedrock を初めて導入する際は、2023 年 10 月に参加した AWS の招待制ワークショップ『Amazon Bedrock Prototyping Camp』が大いに役立ったといいます。

「プロンプトエンジニアリングの作法は LLM によって変わるため、初めての LLM はどうしても不安があります。ワークショップに参加して AWS の担当者から Claude モデルに関するレクチャーを受けるだけでなく、私が書いたプロンプトをレビューしていただいたことで理解が深まり、本番導入もスムーズに進みました」（河東氏）

東京リージョンでの運用で、セキュリティやガバナンスに関する懸念を払拭

LLM を Amazon Bedrock の Claude モデルに切り替えたことで、要約の精度は飛躍的に向上し、JamRoll のサービス品質が高まりました。その結果、導入から半年間で JamRoll の成約率（受注率）も向上し、ビジネスにも好影響をもたらしました。

「成約率は従来の LLM 比で 1.5 倍向上し、SaaS 型のサービスとしてはインパクトの大きい成果を得ることができました。商談時にデモンストレーションを実施して文字起こしや要約の精度を見ていただくことで品質の高さをご理解いただけるため、初回の商談からクロージングまでのリードタイムも短縮されました。当社独自の音声認識技術による正確な文字起こしと、Claudeモデルによる要約の合わせ技がこの成果をもたらしたことは間違いありません」（山崎氏）

Amazon Bedrock をはじめ、AWS のサービスが東京リージョンにあることで、セキュリティやガバナンスを気にするお客様に対しても安心してサービスを提供できるといいます。

「エンタープライズのお客様に SaaS サービスを提供する際には、日本国内でデータを保管することが要件になっていることがほとんどです。AWS を採用することで、その要件を確実にクリアできることは非常に大きなメリットです。また、Amazon Bedrock はプロンプトデータを保持することがなく、コンプライアンス要件に準拠しやすく、お客様への説明が容易である点も評価しています」（山崎氏）

これからも最新かつ高性能の LLM に切り替えていく方針です。また、2023 年 10 月には AWS が LLM 開発を行う企業・団体を支援する『AWS LLM 開発支援プログラム』に参画し、現在は専用 ML チップの AWS Trainium を搭載した Amazon EC2 Trn1 インスタンス上で独自 LLM の開発を進めています。

「書き起こしの精度をより高めるため、話し言葉のデータを追加してモデル学習を進め、既存のモデルと連携しながらより精度の高い書き起こしができるような新しい LLM を開発しています。AWS には JamRoll の機能・性能強化に向けて、引き続き生成 AIサービスの拡大やワークショップ、支援プログラムの提供を期待しています」（河東氏）