將 ML 推論成本降低
82%
新模型部署時間
從 30 分鐘降至 5 分鐘
立即
將資料傳送至現有模型
消除容易出錯的
手動工作
加速
創新
概觀
Bazaarvoice 是一家業界領先的產品評論和使用者原創內容解決方案供應商，協助品牌和零售商透過產品評級、評論、客戶照片和影片來豐富其產品頁面。Bazaarvoice 使用機器學習 (ML) 快速審核和擴增內容，並加快向客戶網站交付內容的速度。
Bazaarvoice 希望透過改善 ML 架構來加速模型部署、降低成本和工程師的工作負載，並加速為客戶帶來創新。Bazaarvoice 的部分基礎設施已在 Amazon Web Services (AWS) 上運作，並後來將其 ML 工作負載遷移到 Amazon SageMaker，讓資料科學家和開發人員可透過該服務，使用全受管基礎設施、工具和工作流程來準備、建置、訓練和部署高品質的 ML 模型。如此一來，該公司加速了模型部署，改善了可擴展性，並將成本降低了 82%。Bazaarvoice 將這些節省下來的成本再投資於進一步改善其服務的專案。
機會 | 在 AWS 上加速 ML 創新
Bazaarvoice 總部位於德州奧斯汀，在全球各地設有辦公室，該公司使用 ML 為企業零售商和品牌自動化內容審核。Bazaarvoice 收集、整合和審核評論、社群內容、照片和影片，客戶可以使用這些內容來增強其產品頁面並推動銷售。Bazaarvoice 還使用 ML 以語義資訊擴增這些內容，以協助客戶對內容進行分類並收集洞察。
Bazaarvoice 希望改善其可擴展性、速度和效率，但它正面臨較舊且速度較慢的 ML 解決方案所帶來的挑戰。例如，每次 Bazaarvoice 需要加入新客戶或訓練新模型時，都必須手動編輯多個模型檔案，將其上傳，然後等待系統註冊變更。此流程大約需要 20 分鐘，而且容易出錯。此外，該架構並非為有效支援 Bazaarvoice 不斷成長的規模而設計，而且支援其近 1,600 個模型的每台機器都需要 1 TB 的 RAM。Bazaarvoice 首席研究工程師 Lou Kratz 表示：「成本相當高，而且由於是建置為單體架構，其無法自動擴展，但自動化擴展卻是我們的關鍵目標之一。」敏捷性對於支援 Bazaarvoice 不斷成長的客戶數量和針對 ML 模型進行實驗也極其重要。Kratz 表示：「我們希望能在不遇到記憶體限制的情況下，將生產中的模型數量增加 10 倍。」
Bazaarvoice 曾考慮建置自己的無伺服器託管解決方案，但這樣的專案既昂貴又耗費人力。Bazaarvoice 採用了 Amazon SageMaker 無伺服器推論，這是一種專門建置的推論選項，能讓企業輕鬆部署和擴展 ML 模型以減少團隊的營運負擔。Bazaarvoice 資深 ML 工程師 Edgar Trujillo 表示，「這個專案是我們統一模型部署的開始。Bazaarvoice 於 2021 年 12 月開始向其新系統傳送流量，到了 2022 年 2 月，所有生產流量已由新系統處理。
使用 SageMaker 無伺服器推論後，我們可以大規模地有效進行 ML，以合理的成本和低廉的營運費用快速產生許多模型。」
Lou Kratz
Bazaarvoice 首席研究工程師
解決方案 | 實現更簡單、更具可擴展性的 ML 部署
使用無伺服器推論，Bazaarvoice 可以輕鬆部署模型，並在模型遇到高流量時將其移至專用端點。因此，Bazaarvoice 提高了輸送量，同時降低了成本。透過將 12,000 個客戶的所有模型遷移到無伺服器推論，該公司節省了 82% 的 ML 推論成本。Bazaarvoice 每月分析和擴增數百萬條內容，這導致每月向 SageMaker 發出數千萬次呼叫，即每秒約 30 次推論呼叫。但是 Bazaarvoice 的大多數 ML 模型每隔幾分鐘才會被客戶呼叫一次，因此對 Bazaarvoice 而言，分配專用資源並不合理。Kratz 表示，「我們需要在大型、昂貴模型的專用主機和使用頻率較低模型的低成本選項之間靈活轉換。」使用無伺服器推論，該公司能根據需求無縫地擴大或縮小規模，進而提高效率並節省成本。「對我們來說，最大的好處是不必管理伺服器或為並未使用的運算時間付費。」Kratz 表示，「我們可以跟上所有內容的進度，以便客戶及時看到審核和擴增的內容。」
隨著 Bazaarvoice 更快地交付內容，其客戶可以更快地向新終端使用者展示這些內容。若使用 SageMaker，這項流程只需 5 分鐘。Kratz 表示：「將新客戶資料傳送到現有模型過去需要 15-20 分鐘。」「但現在馬上就能完成。」 部署全新模型只需 5 分鐘，而不是 20-30 分鐘。在 AWS 上，Bazaarvoice 看到了模型交付輸送量所有增加。該公司可以建立模型、交付模型並在無伺服器推論上執行模型，以評估其效能，然後再向其傳送任何內容，從而降低使用即時內容的風險。由於模型已在 SageMaker 上執行，需要向模型傳送內容時亦無需重新部署。Bazaarvoice 可以在驗證完成後立即部署新模型。「使用 Amazon SageMaker 大幅提升我們快速、低成本地試驗新模型，並將其投入生產的能力。」Bazaarvoice 技術研究員 Dave Anderson 表示，「我們可以靈活地推動我們的價值主張向前發展，這點很令人興奮。」 Bazaarvoice 幫助其資料科學家加快了研發速度，並為客戶創造了更多價值。
Bazaarvoice 將內容饋送到其 ML 模型之一時，模型會輸出可信度值，並使用它來決定使用什麽內容。在該公司以前的架構上，Bazaarvoice 每次想要變更決策邏輯時都必須交付新模型。後來，Bazaarvoice 開始使用 Amazon Elastic Container Service (Amazon ECS) 來處理 ML 模型之外的決策邏輯，Amazon ECS 是一項全受管容器協同運作服務，能讓企業輕鬆部署、管理和擴展容器化應用程式。「將決策邏輯分離出來大有裨益，因為內容營運團隊現在幾乎可以立即獲得結果並做出決策。」Kratz 表示，「他們不必交付新模型，並等待模型部署和更新。」
成果 | 持續改善客戶體驗
Bazaarvoice 在顯著節省成本同時改善了團隊的 ML 開發體驗，並增強了其為客戶提供的服務。Bazaarvoice 計劃透過使用 SageMaker Serverless Inferences API 推動快速存取，從而為客戶帶來更多好處。Kratz 表示：「ML 正在成為這個產業的常態，沒有它你就無法在競爭中占得優勢。」「使用 SageMaker 無伺服器推論後，我們可以大規模地有效進行 ML，以合理的成本和低廉的運營費用快速產生許多模型。」
關於 Bazaarvoice
Bazaarvoice 總部位於德州奧斯汀，在全球設有辦公室，透過全球零售、社群和搜尋聯盟網路，為品牌和零售商提供工具，在整個客戶旅程中打造智慧購物體驗。
使用的 AWS 服務
開始使用
各行各業各種規模的組織每天都在使用 AWS 來變革其業務和履行其使命。聯絡我們的專家，立即開始您的專屬 AWS 雲端之旅。