AWS Inferentia 客戶

NetOAI 提供 TelcoCore 套件 (包括 TSLAM、Ving、DigitWin 和 NAPI)，以幫助電信公司自動化其複雜的多網域營運和客戶生命週期管理。該套件的基石是我們的 TSLAM LLM，這是該領域的第一個開放原始碼、以動作為導向的模式。為建置該工具，我們需要在超過 20 億個字符的專有資料集上微調模型，並且搭配使用 Amazon SageMaker 與 AWS Trainium trn1 執行個體，我們實現顯著的成本節省，並在不到三天內完成整個微調。在生產環境中，AWS Inferentia2 和 Neuron SDK 為我們提供了 300-600 毫秒之間的推論延遲一致低。這一針對 AWS 專門建置的 AWS AI 晶片上的端對端解決方案是我們為整個電信產業提供專業、高效能 AI 的使命的關鍵。

 

Palepu 創辦人兼執行長 Ravi Kumar

訓練用於 HummingLM 的大型音訊到音訊模型既需要大量的運算資源，也需要繁重的反覆運作。透過將我們的訓練工作負載移轉至 AWS Trainium，並使用 Amazon SageMaker HyperPod 進行協同運作，我們在維持模型準確性的同時，降低 54% 的訓練成本，縮短 50% 的訓練週期。我們還在短短一週內將超過 2 PB 的資料移轉至 Amazon S3，並且利用 Amazon FSx for Lustre 以高輸送量、低延遲存取訓練資料和檢查點。藉助 AWS Inferentia2 支援的 Inf2 執行個體，我們的推論延遲降低高達 10 倍，從而實現更快速、更靈敏的即時音樂產生。