LG AI Research 使用 Amazon SageMaker 开发根基模型

韩国企业集团 LG 集团从旗下公司收集了与家用电器、电信、电池和药品等相关的大量数据。该集团数字化转型的关键支柱是开发人工智能技术并将人工智能集成到产品和服务中。该集团成立了 LG AI Research，目的是在数字化转型战略中利用人工智能的力量、开发更好的客户体验并解决常见的行业挑战。

新一代根基模型从人脑的工作原理中汲取灵感，具有先进的学习和判断能力，LG AI Research 在决定开发该模型时，力求寻找最高效的机器学习（ML）平台来处理海量数据、进行大规模的训练和推理。根基模型需要在数十 TB 的数据上进行训练，才能像人类一样进行推理、理解文本和图像。此外，该项目需要高性能的计算基础设施和灵活性，才能将训练中的参数数量增加到数十亿。

由于该项目需要同时完成多个模型或下游任务，因此工作流程自动化也很重要。为了满足这些要求，该研究所本来打算建立本地基础设施，但成本太高，而且需要 20 名员工来配置和维护本地硬件。还要每年升级 GPU 并添加更多 GPU 以支持工作负载峰值。考虑到本地解决方案面临的所有挑战，LG AI Research 认为 Amazon SageMaker 最适合该项目。

LG AI Research 花了不到一年时间，成功将根基模型 EXAONE 部署到生产中。EXAONE 代表“expert AI for everyone”（面向所有人的专家级人工智能），是一个具有 3000 亿参数的多模式模型，同时使用图像和文本数据。

LG AI Research 使用 Amazon SageMaker 来训练其大规模根基模型，同时使用 Amazon FSx for Lustre 将数据分发到实例中以加快模型训练。通过在 AWS 上构建基础设施，LG AI Research 得以解决问题、实施检查点、进行微调并将模型成功部署到生产中。

LG AI Research 的 Gwang-mo Song 解释道：“通过使用 Amazon SageMaker 的高性能分布式训练基础设施，研究人员不必进行基础设施管理，只需专注于模型训练。此外，通过利用 Amazon SageMaker 的并行数据库，随着 GPU 数量和模型参数的增加，我们可以快速地获得训练结果。”

LG AI Research 不再需要单独的基础设施管理团队，从而将成本降低了大约 35%。通过使用 Amazon SageMaker 分布式数据并行库，数据处理速度提高了约 60％。

LG AI Research 使用 EXAONE 开发了一位人工智能虚拟艺术家，名字叫 Tilda。EXAONE 使用 6000 亿件艺术品和 2.5 亿张带有文字的高分辨率图像进行训练，赋予了 Tilda 艺术家的品质。这位虚拟艺术家为时装设计师 Yoon-hee Park 创作了三千张图像和图案，Yoon-hee Park 利用这些图像和图案为 2022 年纽约时装周设计了两百多套服装。

Park 与 LG AI Research 的合作证明了将人工智能技术扩展到艺术行业、发展人工智能生态系统和促进跨行业合作的潜力。该公司最近宣布与纽约帕森斯设计学院达成合作，共同研究先进的人工智能技术以将其用于时尚界。

通过 Tilda，EXAONE 展示了如何使用根基模型推动制造、研究、教育、金融等多个行业的转型。LG AI Research 将继续利用其根基模型提升人类生命的价值，同时也期待在未来的项目中与 AWS 进行密切合作。