Codeway 使用 Amazon EC2 G5 執行個體，節省了 48% 的生成式 AI 運算成本

Codeway 總部位於土耳其伊斯坦堡，開發由尖端技術 (尤其是生成式 AI) 驅動的行動應用程式和遊戲。Wonder 應用程式將文字轉化為數位影像；使用者輸入單字或句子，而 Wonder 透過部署 Stable Diffusion 模型來根據 AWS 上的 PyTorch 產生圖像，再將這些輸入轉換為藝術作品。根據訂閱方案，使用者可以下載高品質或低品質的影像版本。

由於 Wonder 的下載量已超過 2,830 萬名使用者，Codeway 努力將其運算和 GPU 能力發揮至最大。Wonder 的基礎架構分布於多個地區的各種雲端供應商。對於人工智慧 (AI) 推論工作負載，Codeway 使用託管在其中一個供應商上的 NVIDIA A100 Tensor Core GPU。但是，它遇到了影響效能的 GPU 容量問題。

「這些工作負載需要高度 GPU 密集的硬體。我們每個月都會增加數百萬使用者，因此我們對 GPU 的需求將只增不減，」Codeway 首席 DevOps 工程師 Ugur Arpaci 表示。「隨著我們管理的 GPU 從數百個上升到數千個，我們希望針對成本和效能進行最佳化，並找到適當的可擴展性策略。」

Amazon EC2 提供廣泛且深入的運算產品組合，擁有超過 600 個執行個體，供您選擇最新的處理器、儲存裝置、網路、作業系統和購買模型選項，協助客戶最妥善地滿足工作負載需求。Codeway 在尋找最佳化運算的方法時，發現一個理想的解決方案：由 NVIDIA A10G Tensor Core GPU 提供支援的 Amazon EC2 G5 執行個體。儘管 Codeway 可以選擇與其他雲端供應商類似的 GPU，但這些產品無法提供與 AWS 相同的可用性和可擴充性。

「AWS 團隊建議我們採用由 NVIDIA A10G Tensor Core GPU 提供支援的 Amazon EC2 G5 執行個體，來實現我們的性價比目標，」Arpaci 說。「我們開始測試這一點，也看到良好的成果。

在分析了 Amazon EC2 G5 執行個體的性價比後，Codeway 與 AWS 團隊密切合作，完成了入門流程。「我們一直與 AWS 的專家保持聯繫，」Arpaci 說。「我們遵循他們的指導，然後進行測試並計算我們這邊的成本。對於某些模型，我們意識到透過在 Amazon EC2 G5 執行個體上部署應用程式可以獲得最大收益。然後我們分享了我們的成果，並建立一個非常積極的回饋循環。」

入門流程快速且順暢，而且在 3.5 個月內，Codeway 已能在 AWS 上為 Wonder 執行生產工作負載。現在，它使用配備 A10G GPU 的 Amazon EC2 G5 執行個體，為免費版 Wonder 部署幾乎所有 AI 推論工作負載。為了為付費訂閱者產生完整高解析影像，Codeway 使用更強大的 A100 GPU，可以在更短的時間內產生更高品質的內容。使用 A10G 和 A100，該公司得以遵守針對輸出時間要求的所有服務等級協議。

「我們知道 A10G 的效能不如 A100，但某些工作負載不需要那麼高的 GPU 效能，」Arpaci 說。「現在，我們可以將這些大量工作負載從更強大的 GPU 中卸載，這些 GPU 現在僅用於高級使用者功能，例如高品質影像生成。」

為了進一步提高成本效率和效能，Codeway 採用 Amazon Elastic Kubernetes Service (Amazon EKS) 上的叢集 (Amazon EKS 是在 AWS 雲端和內部部署資料中心執行 Kubernetes 的受管服務)，以根據需要，動態地上下調整 Amazon EC2 G5 執行個體。每個 Amazon EKS 叢集上都部署了自訂自動擴充解決方案，可以按需求智慧地要求更多執行個體。

為了管理執行個體，Codeway 依賴 Karpenter，這是一種開放原始碼節點佈建解決方案。此服務會根據 Codeway 的需求，有效地判斷並使用適當的執行個體類型。「Karpenter 實際上為我們選擇所需的執行個體數量並部署它們，然後我們再部署所需的工作負載。」Arpaci 說道。「整個流程都是自動化的，從操作角度來看，這簡化了很多因素。」