使用 Amazon SageMaker 和 Forethought 技術最佳化生成式 AI 的成本和效能

Forethought 的客戶服務解決方案套件由生成式 AI 提供支持，這是一種可以創造新內容和想法 (包括對話、故事、圖像、影片和音樂) 的人工智慧。Forethought 產品的核心是其 SupportGPT 技術，該技術使用大型語言模型和資訊檢索系統，每年為超過 3,000 萬次客戶互動提供支援。透過自動化，該公司運用對話式 AI 協助使用者，進而減輕客戶支援團隊的負擔。許多 Forethought 的客戶在忙碌時期 (例如假期或納稅季) 使用其產品，以更少的客戶支持專員來處理更多的客戶問題。Forethought 為其客戶提供超個人化的 ML 模型，通常為每個客戶訓練多個模型以滿足個別用例。

Forethought 於 2017 年在美國成立，最初使用多個雲端供應商來託管其產品，使用 Amazon SageMaker 來訓練機器學習模型。在成立的頭兩年，該公司使用 Amazon Elastic Kubernetes Service (Amazon EKS) 建置了 ML 推論解決方案，Amazon EKS 是一項受管 Kubernetes 服務，可在 AWS 雲端和內部部署上執行 Kubernetes。隨著公司持續成長並獲得新客戶，它希望提高其解決方案的可用性並降低成本。

為了滿足其可擴展性、可用性和成本最佳化需求，Forethought 選擇將其 ML 推論遷移到 Amazon SageMaker，且該公司開始使用 Amazon SageMaker 的其他功能來改進其產品。在此過程中，Forethought 建立了其管道，以受益於使用 Amazon SageMaker 可以實現的延遲和可用性改進。Forethought 核心工程總監 Jad Chamoun 表示：「無論我們需要什麼，Amazon SageMaker 的整個團隊都會為我們聯繫合適的人才，以便我們能夠順利使用 AWS。

Forethought 將其 ML 推論從 Amazon EKS 遷移到 Amazon SageMaker 模型部署多模型端點，這是一個可擴展且具成本效益的解決方案，可部署大量模型。Forethought 解決方案中執行此功能的一個例子是當使用者打字時，該功能會自動完成句子中的下一個單字。該公司使用 Amazon SageMaker 多模型端點在單一推論端點上執行多個 ML 模型。這可提高 GPU 等硬體資源的擴充性和效率。該公司還透過使用 Amazon SageMaker 多模型端點降低了成本。Chamoun 說：「使用 Amazon SageMaker，我們可以以更低的每位客戶成本為客戶提供支援。「遷移至 Amazon SageMaker 多模型端點後，我們的成本降低了 66%，而且為客戶提供的延遲和回應時間也優於以往。」

Forethought 還使用 Amazon SageMaker 無伺服器推論 (這是一個專門建置的推論選項)，無需設定或管理任何基礎基礎架構，即可部署和擴充 ML 模型。Forethought 對 Amazon SageMaker 無伺服器推論的使用圍繞著針對每個客戶使用案例進行微調的小型模型和分類器，例如自動確定支援申請單的優先順序。透過將其部分類器遷移到 Amazon SageMaker 無伺服器推論，Forethought 節省了大約 80% 的相關雲端成本。

Forethought 的雲端基礎架構團隊由三個人組成。執行和管理所有 ML 模型和 Kubernetes 叢集對小型團隊來說是太大的負擔。使用 Amazon SageMaker，該公司能以其現有的人員隨心所欲地進行擴展。「我們在 Amazon SageMaker 多模型端點內執行多個執行個體，」Chamoun 說。「我們能夠比以往更有效地分享資源，同時提供更好的可用性。」

使用 Amazon SageMaker，Forethought 團隊不再需要擔心記憶體異常或可用性，否則僅有的三位工程師將花費大量時間來解決這些問題。由於該公司使用 Amazon SageMaker 為語言模型設立了自動化管道，因此 Forethought 的團隊及其客戶可以與他們想要訓練的資料互動並將其提交。「我們不必參與培訓、部署和擴展的過程，這對我們開展對公司更有影響力的其他工作至關重要，」Chamoun 說。現在，Forethought 在 Amazon SageMaker 上的 Amazon SageMaker 多模型端點和 Amazon SageMaker 無伺服器推論之間，執行超過 80% 的 GPU 推論。