Forethought Technologies、Amazon SageMaker を使用して生成 AI のコストとパフォーマンスを最適化

Forethought のカスタマーサービスソリューションスイートは、会話、ストーリー、画像、動画、音楽などの新しいコンテンツやアイデアを生み出すことができる生成 AI を活用しています。Forethought の製品の中心となるのは SupportGPT テクノロジーです。このテクノロジーは、大規模な言語モデルと情報検索システムを使用して、毎年 3,000 万件を超える顧客とのやり取りを支えています。自動化を通じて、同社は会話型 AI でユーザーを支援することで、カスタマーサポートチームの負担を軽減しています。Forethought の顧客の多くは、休日や税務シーズンなどの繁忙期に製品を使用して、より少ないカスタマーサポートエージェントでより多くの顧客問題を処理しています。Forethought は、顧客向けにハイパーパーソナライズされた ML モデルを提供しており、多くの場合、個々のユースケースに合わせて顧客ごとに複数のモデルをトレーニングしています。

Forethought は 2017 年に米国で設立され、当初は複数のクラウドプロバイダーを使用して製品をホストし、機械学習モデルのトレーニングには Amazon SageMaker を使用していました。同社は最初の 2 年間で、AWS クラウドとオンプレミスで Kubernetes を実行するマネージド Kubernetes サービスである Amazon Elastic Kubernetes Service (Amazon EKS) を使用して、ML 推論のソリューションを構築しました。同社は成長を続け、新規顧客を獲得するにつれ、ソリューションの可用性を向上させ、コストを削減したいと考えていました。

スケーラビリティ、可用性、およびコスト最適化のニーズを満たすために、Forethought は ML 推論を Amazon SageMaker に移行することを選択し、同社は Amazon SageMaker の追加機能を使用して製品を改善し始めました。このプロセスで、Forethought は Amazon SageMaker を使用して実現できるレイテンシーと可用性の改善の恩恵を受けるようにパイプラインを設計しました。「Amazon SageMaker のチームをはじめ、あらゆる関係者が、私たちが必要とするあらゆることについて、適切な人材と私たちをつなげてくれます。それにより、AWS を活用して成功することができるのです」と Forethought の director of core engineering、Jad Chamoun 氏は言います。

Forethought は、ML 推論を Amazon EKS から Amazon SageMaker モデルデプロイのマルチモデルエンドポイントに移行しました。これは、多数のモデルをデプロイするためのスケーラブルで費用対効果の高いソリューションです。Forethought のソリューションで実際に使われているこの機能の一例は、ユーザーが入力しているときに文の次の単語をオートコンプリートすることです。同社は Amazon SageMaker マルチモデルエンドポイントを使用して、1 つの推論エンドポイントで複数の ML モデルを実行しています。これにより、GPU などのハードウェアリソースのスケーラビリティと効率が向上します。同社はまた、Amazon SageMaker マルチモデルエンドポイントを使用することでコストも削減しました。「Amazon SageMaker を使用することで、顧客あたりのコストを下げて顧客をサポートできます」と Chamoun 氏は言います。「Amazon SageMaker マルチモデルエンドポイントに移行することで、コストを最大 66% 削減できると同時に、お客様のレイテンシーと応答時間を改善できました」。

Forethought では、専用の推論オプションである Amazon SageMaker Serverless Inference も使用しているため、基盤となるインフラストラクチャの設定や管理を行わずに ML モデルをデプロイしてスケーリングできます。Forethought が Amazon SageMaker Serverless Inference を使用する際は、サポートチケットの優先度を自動的に決定するなど、お客様のユースケースごとに微調整された小さなモデルと分類子を中心に展開しています。分類子の一部を Amazon SageMaker Serverless Inference に移行することで、Forethought は関連するクラウドコストを約 80% 削減しました。

Forethought のクラウドインフラストラクチャチームは 3 人のチームです。すべての ML モデルと Kubernetes クラスターの実行と管理は、小規模なチームにとってはオーバーヘッドが大きすぎました。Amazon SageMaker を使用することで、同社は既存の人材を活用して必要なだけ規模を拡大できます。「Amazon SageMaker マルチモデルエンドポイント内で複数のインスタンスを実行しています」と Chamoun 氏は言います。「以前よりも優れた可用性を提供しながら、より効率的にリソースを共有できるようになりました」。

Amazon SageMaker を使用することで、Forethought チームはメモリの例外や可用性について心配する必要がなくなりました。そうでなければ、3 人のエンジニアがかなりの時間をかけて取り組んでいたであろう問題でした。同社は Amazon SageMaker を使用して言語モデルの自動パイプラインを設定しているため、Forethought のチームとその顧客は、トレーニングしたいデータをインターフェイスで操作して送信できます。「トレーニング、デプロイ、スケーリングがされている間、それに関わらなくてもすんだという事は、会社にとってより影響の大きい他のことに取り組むうえで重要でした」と Chamoun 氏は言います。Forethought は現在、Amazon SageMaker 上の GPU 推論の 80％ 以上を、Amazon SageMaker マルチモデルエンドポイントと Amazon SageMaker Serverless Inference の間で実行しています。