Sprinklr 降低了 AWS Inferentia 的机器学习推理成本

Sprinklr 成立于 2009 年，是一家美国软件公司，其员工遍布世界各地。该公司是新推出的 AWS 服务的早期采用者，他们的使命是在世界范围内帮助组织机构提高客户满意度。该公司在四个强大的产品套件中提供了 31 种以上的不同软件产品，并开发了先进的专有人工智能引擎，以供企业分析公开的数据，并通过 30 个数字渠道和社交渠道与客户互动。通过 Sprinklr，企业可以在内部进行跨团队协作并与外部的数字渠道进行协作，以创造更好的客户体验。

Sprinklr 一直在想方设法改善客户体验，同时降低计算成本并优化效率。Sprinklr 基础设施和 DevOps 副总裁 Jamal Mazhar 表示：“我们的目标是能够一直采用最新的技术，以便能够节省更多成本。”Sprinklr 希望在降低机器学习推理成本的同时降低延迟，并希望利用 AWS 的创新来应对这些挑战。Sprinklr 人工智能产品工程高级总监 Yogin Patel 表示：“当我们了解了 AWS Inferentia 之后，我们很自然地将它视为我们的成本计划的一个驱动因素。”为了降低计算成本并提高客户满意度，Sprinklr 于 2021 年 7 月开始测试 Amazon EC2 Inf1 实例。

Sprinklr 的 Unified-CXM 平台利用机器学习算法处理来自多种不同渠道的非结构化数据，以便为客户提供见解。例如，该公司的自然语言处理和计算机视觉机器学习模型会分析不同的数据格式，这些数据格式来自公开发布的社交媒体文章、博客文章、视频内容以及 30 多个频道的公共领域中的其他内容。Sprinklr 能够从这些内容中分析客户的情感和意图，从而为客户提供对于产品的见解。目前，该公司每天对其 500 多个模型进行大约 100 亿次预测。Sprinklr 将其工作负载分为两组 – 延迟优化型和吞吐量优化型。延迟是指一个推理到达其目的地所需的时间，吞吐量是指在特定时间段内处理的数据包数量。Patel 表示：“即使只将一个模型的延迟降低 20％，综合来看也能节省非常可观的成本。”

AWS Inferentia 具有大容量片上内存，可用于缓存大型模型，而不是将它们存储到芯片以外。这样会对降低推理延迟产生重大影响，因为 AWS Inferentia 的处理核心（称为 NeuronCore）可以对存储在芯片上内存的模型进行高速访问，而且不受芯片外内存带宽的限制。NeuronCore 还能够以显著减低的成本在云端提供高性能推理，因此，开发人员可以轻松将机器学习整合到他们的业务应用程序中。

当 Sprinklr 开始将模型迁移到 Amazon EC2 Inf1 实例并运行基准测试时，该公司发现延迟优化型工作负载的延迟降低了 30% 以上。Patel 表示：“我们一直对于测试新的 AWS 服务、试验工作负载以及对新的实例进行基准测试十分感兴趣。”发现 AWS Inferentia 能够在测试中显著降低延迟之后，Sprinklr 决定将自己的所有延迟优化型工作负载迁移到 Amazon EC2 Inf1 实例。Mazhar 表示：“目标自始至终一直是降低延迟，这意味着能提供更好的客户体验。”“使用 Amazon EC2 Inf1 实例，我们将能够实现这一目标。”

在将大约 20 个模型迁移到 Amazon EC2 Inf1 实例之后，Sprinklr 开始迁移自己的计算机视觉和文本模型，以提高效率和节省更多成本。该团队现在可以在不到 2 周的时间内使用 Amazon EC2 Inf1 实例部署一个模型。向 AWS Inferentia 迁移时，该公司能够获得充足的资源和支持，从而更加轻松地进行迁移。Mazhar 表示：“我们总是能够迅速与所需的团队取得联系。”“AWS 提供的支持帮助我们提高了客户满意度和员工工作效率。”

随着 Sprinklr 继续将模型迁移到 AWS Inferentia，该公司将添加更多的语音相关模型，包括自动语音识别和意图识别，以帮助企业进一步与客户互动。Sprinklr 预计，通过将这些模型部署到 AWS Inferentia 上，能够以显著降低的成本为客户提供所需的性能和低延迟。