Forethought Technologies 使用 Amazon SageMaker 优化生成式人工智能的成本和性能

Foreghought 的客户服务解决方案套件由生成式人工智能提供支持，这是一种可以创建新内容和想法的人工智能，包括对话、故事、图像、视频和音乐。Foreghought 产品的核心是其 SupportGPT 技术，该技术使用大型语言模型和信息检索系统每年为超过 3,000 万次的客户互动提供支持。通过自动化，该公司通过对话式人工智能协助用户减少了客户支持团队的负担。Foreshought 的许多客户在繁忙时期（例如节假日或纳税季节）使用其产品，用较少的客户支持代理来处理更多的客户问题。Foreghought 为其客户提供超个性化的机器学习模型，通常为每位客户训练多个模型以满足个人用例。

Foreghought 于 2017 年在美国成立，最初使用多个云提供商托管其产品，使用 Amazon SageMaker 来训练机器学习模型。在最初的两年中，该公司使用 Amazon Elastic Kubernetes Service (Amazon EKS) 为其机器学习推理构建了解决方案，该服务是一项托管的 Kubernetes 服务，可在 AWS Cloud 和本地运行 Kubernetes。随着公司的持续发展和新客户增加，它希望提高解决方案的可用性并降低成本。

为了满足其可扩展性、可用性和成本优化需求，Foreshought 选择将其机器学习推理迁移到 Amazon SageMaker，公司开始使用 Amazon SageMaker 的其他功能来改进产品。在此过程中，Foreghought 设计管道，得益于使用 Amazon SageMaker 可以实现的延迟和可用性改进。Foreghought 核心工程总监贾德·查蒙说：“无论我们需要什么，Amazon SageMaker 团队都会将我们与合适的人联系起来，这样我们才能成功使用 AWS。”

Foreghought 将其机器学习推理从亚马逊 EKS 迁移到Amazon SageMaker 模型部署多模型终端节点，这是一种用于部署大量模型的可扩展且性价比高的解决方案。此功能在 Foreghought 的解决方案中发挥作用的一个例子是，当用户键入时，会自动填写句子中的下一个单词。该公司使用 Amazon SageMaker 多模型终端节点在单个推理终端节点上运行多个机器学习模型。这提高了 GPU 等硬件资源的可扩展性和效率。该公司还通过使用 Amazon SageMaker 多模型终端节点降低了成本。Chamoun 说：“使用 Amazon SageMaker，我们可以用更低的每位客户成本为客户提供支持。”“通过迁移到 Amazon SageMaker 多模型终端节点，我们将成本降低了高达 66%，同时为客户提供更短的延迟和更快的响应速度。”

Foreghought 还使用 Amazon SageMaker 无服务器推理（一种专门构建的推理选项）来部署和扩展机器学习模型，无需配置或管理任何底层基础设施。Foreghought 对 Amazon SageMaker 无服务器推理功能的使用围绕小型模型和分类器展开，这些模型和分类器会针对每个客户用例进行微调，例如自动确定支持票证的优先级。通过将部分分类器迁移到 Amazon SageMaker Serverless Inference，Foreghought 节省了约80％的相关云成本。

Foreghought 的云基础架构团队由三人组成。对于这个小型团队来说，运行和管理所有机器学习模型和 Kubernetes 集群的开销太大了。使用 Amazon SageMaker，该公司可以利用现有的员工尽可能地扩大规模。Chamoun 说：“我们在 Amazon SageMaker 多模型终端节点中运行多个实例。”“与过去相比，我们能够更有效地共享资源，同时提供更好的可用性。”

使用 Amazon SageMaker，Forechought 团队不再需要担心内存异常或可用性，三位工程师之前会花费大量时间来解决这些问题。由于该公司使用 Amazon SageMaker 为语言模型设置了自动管道，因此 Foreghought 的团队及其客户可以与他们想要训练的数据进行交互并提交。Chamoun 说：“在训练、部署和扩展过程中不必参与，是我们致力于其他对公司更具影响力的工作的关键。”现在，Forethought 在 Amazon SageMaker 多模型端点和 Amazon SageMaker Serverless Inference 之间的 Amazon SageMaker 上运行超过 80% 的 GPU 推断。