LG AI Research 使用 Amazon SageMaker 開發基礎模型

韓國企業集團 LG Group 從旗下公司收集大量資料，這些公司來自家用電器、電信、電池和製藥產業。該集團數位轉型的關鍵一步便是開發 AI 技術並將 AI 整合到其產品和服務中。為在數位轉型過程中利用 AI 的力量，開發更好的客戶體驗，並解決常見的產業挑戰，該集團成立了 LG AI Research。

在 LG AI Research 決定開發其下一代基礎模型 (該模型從人腦的工作方式中汲取靈感並具有先進的學習和判斷能力) 後，他們需要尋找一種最有效的機器學習 (ML) 平台，以處理大量資料和進行大規模訓練與推論。該基礎模型在訓練中需要使用數十 TB 的資料，以實現類似人類的推論並理解文字和影像。此外，該專案需要高效能的運算基礎設施，以及在訓練期間能夠將參數數量增加到數十億個的靈活性。

工作流程自動化也很重要，因為他們需要同時完成多個模型或下游任務。為了滿足這些需求，該研究所考慮了內部部署基礎設施，但成本太高，而且需要 20 名員工來設定和維護硬體。另外，這個基礎設施還需要每年升級 GPU 和新增更多的 GPU，以支援工作負載尖峰。鑑於內部部署解決方案存在的各種挑戰，LG AI Research 認為 Amazon SageMaker 是該專案的最佳選擇。

LG AI Research 在一年內便成功將其基礎模型 EXAONE 部署到生產環境中。EXAONE 的含義是「每個人的專家級 AI」，是一個使用圖像和文字資料的多模態模型，具有 3,000 億個參數。

LG AI Research 使用 Amazon SageMaker 訓練其大規模基礎模型，並使用 Amazon FSx for Lustre 將資料分發到各執行個體以加速模型訓練。透過在 AWS 上建置，LG AI Research 能夠解決問題、實作檢查點、微調並成功將模型部署到生產中。

LG AI Research 的 Gwang-mo Song 解釋道：「透過使用 Amazon SageMaker 的高效能分散式訓練基礎設施，研究人員可以專注於模型訓練，而無需操心管理基礎設施。此外，透過利用 Amazon SageMaker 的平行資料庫，得益於 GPU 數量和模型參數的增加，我們可以快速取得訓練結果。」

由於不再需要單獨的基礎設施管理團隊，LG AI Research 將成本降低了約 35%。他們還使用 Amazon SageMaker 分散式資料平行庫將資料處理速度提高了約 60%。

LG AI Research 使用 EXAONE 開發了一個名為 Tilda 的 AI 虛擬藝術家。Tilda 的藝術素養來源於 EXAONE，後者是使用 6,000 億張藝術作品和 2.5 億張帶有文字的高解析度影像訓練而成的。時裝設計師 Yoon-hee Park 使用 Tilda 創作的 3,000 幅影像和圖案，為 2022 年紐約時裝週設計了 200 多套服裝。

Park 與 LG AI Research 的合作展現了將 AI 技術擴展到藝術產業、發展 AI 生態系統和促進跨產業合作的潛力。該公司最近宣佈與紐約市帕森設計學院建立合作夥伴關係，共同研究用於時尚產業的先進 AI 技術。

EXAONE 透過 Tilda 展示了基礎模型的強大力量，這些模型能夠為包括製造、研究、教育和金融在內的廣泛領域帶來變革。LG AI Research 會繼續致力於利用基礎模型提高人類生活品質，並期待在未來的專案中與 AWS 密切合作。