Sprinklr 使用 AWS Inferentia 降低機器學習推論成本

Sprinklr 成立於 2009 年，是一家美國軟體公司，員工遍佈世界各地。他們願意率先嘗試新的 AWS 服務，他們的使命是協助全球的組織提高客戶滿意度。他們在四個強大的產品套件中提供超過 31 種不同軟體產品，並開發了先進的專有人工智慧引擎，以供企業分析公開的資料並透過 30 個數位管道和社交管道與客戶互動。藉助 Sprinklr 的產品和服務，企業可以在內部進行跨團隊協作並與外部的數位管道進行協作，以建立更好的客戶體驗。

Sprinklr 一直在設法改善客戶體驗，同時降低運算成本並最佳化效率。Sprinklr 基礎設施和 DevOps 副總裁 Jamal Mazhar 表示：「我們一直以來的目標都是要利用最新的技術，以節省更多成本。」Sprinklr 希望在降低 ML 推論成本的同時減少延遲，並希望利用 AWS 的創新來應對這些挑戰。Sprinklr 人工智慧產品工程資深總監 Yogin Patel 表示：「在我們了解了 AWS Inferentia 之後，我們很自然地將其視為我們的成本計畫的一個驅動因素。」為了降低運算成本並提高客戶滿意度，Sprinklr 於 2021 年 7 月開始測試 Amazon EC2 Inf1 執行個體。

Sprinklr 的 Unified-CXM 平台利用 ML 演算法處理來自多種不同管道的非結構化資料，以便為客戶提供洞見。例如，其自然語言處理和電腦視覺 ML 模型可分析各種不同的資料格式，包括社交媒體張貼、部落格張貼、影片內容和其他超過 30 個管道的公共領域可用內容。Sprinklr 能夠從這些內容中提取客戶的情緒和意圖，從而為客戶提供對於產品的洞見。目前，該公司每天在其 500 多個模型上進行約 100 億次預測。Sprinklr 將其工作負載分為兩個群組：延遲最佳化型和輸送量最佳化型。延遲是指一個推論到達其目的地所需的時間，輸送量是指在特定時間段內處理的封包數量。Patel 表示：「即使只是將一個模型的延遲降低 20％，長期來看也能節省非常可觀的成本。」

AWS Inferentia 特別內含大量片上記憶體，用以快取大型模型，無需儲存於晶片外。這對降低推論延遲有明顯效果，因為 AWS Inferentia 的處理核心 (名為 NeuronCore) 能高速存取存放在晶片上記憶體的模型，不受晶片外記憶體的頻寬限制。NeuronCore 還能夠以低得多的成本在雲端提供高效能推論，讓開發人員可以輕鬆將 ML 整合到他們的業務應用程式中。

Sprinklr 開始將模型遷移到 Amazon EC2 Inf1 執行個體並執行基準測試時，他們發現延遲最佳化型工作負載的延遲降低了 30% 以上。Patel 表示：「我們始終希望測試新的 AWS 服務、試驗工作負載，以及對新的執行個體進行基準測試。」發現 AWS Inferentia 能夠在測試中顯著降低延遲之後，Sprinklr 決定將自己的所有延遲最佳化型工作負載遷移到 Amazon EC2 Inf1 執行個體。Mazhar 表示：「目標始終是降低延遲，這意味著更好的客戶體驗。」「藉助 Amazon EC2 Inf1 執行個體，我們能夠實現這一目標。」

在將大約 20 個模型遷移到 Amazon EC2 Inf1 執行個體之後，Sprinklr 開始遷移電腦視覺和文字模型，以提高效率和節省更多成本。在使用 Amazon EC2 Inf1 執行個體的情況下，該團隊現在可以在不到 2 週的時間內部署一個模型。他們發現向 AWS Inferentia 遷移的過程非常簡單，並且能夠取得充足的資源和支援。Mazhar 表示：「我們總是能夠迅速聯絡到正確的團隊。」「AWS 提供的支援協助我們提高了客戶滿意度和員工生產力。」

隨著繼續將模型遷移到 AWS Inferentia，Sprinklr 將新增更多的語音相關模型，包括自動語音辨識和意圖辨識模型，以協助企業進一步與客戶互動。Sprinklr 預計，透過將這些模型部署到 AWS Inferentia 上，能夠以低得多的成本為客戶提供所需的效能和低延遲。