LG AI연구원, Amazon SageMaker 활용 파운데이션 모델 개발

한국의 대기업인 LG 그룹은 가전 제품, 통신, 배터리 및 의약품 분야 등 다양한 그룹 내 자회사로부터 방대한 양의 데이터를 수집합니다. 그룹의 디지털 트랜스포메이션의 주요 목표는 AI 기술을 개발하고 AI를 제품 및 서비스에 통합하는 것입니다. 그룹은 디지털 트랜스포메이션 전략에 AI의 힘을 활용하고 더 나은 고객 경험을 개발하며 일반적인 산업 과제를 해결하기 위해 LG AI연구원을 설립했습니다.

LG AI연구원은 인간 두뇌의 작동 방식에서 영감을 얻어 학습 및 판단 능력이 뛰어난 차세대 파운데이션 모델을 개발하기로 결정한 후 방대한 양의 데이터와 대규모 훈련 및 추론을 처리할 수 있는 가장 효율적인 기계 학습(ML) 플랫폼을 모색했습니다. 파운데이션 모델은 수십 테라바이트의 데이터를 기반으로 훈련하여 인간과 유사한 추론을 수행하고 텍스트와 이미지를 이해해야 했습니다. 게다가 이 프로젝트에는 고성능 컴퓨팅 인프라와 훈련 중에 파라미터 수를 수십억 개로 늘릴 수 있는 유연성이 필요했습니다.

여러 모델 또는 다운스트림 작업을 동시에 완료해야 했기 때문에 워크플로 자동화도 중요했습니다. 이러한 요구 사항을 충족하기 위해 연구소는 온프레미스 인프라를 고려했지만 비용이 너무 많이 들었고 온프레미스 하드웨어를 구성하고 유지 관리하는 데 20명의 직원이 필요했습니다. 또한 매년 GPU를 업그레이드하고 워크로드 급증을 지원하기 위해 더 많은 GPU를 추가해야 했습니다. LG AI연구원은 온프레미스 솔루션의 모든 문제를 고려하여 Amazon SageMaker가 이 프로젝트에 가장 적합하다고 판단했습니다.

LG AI연구원은 파운데이션 모델인 엑사원을 1년 만에 성공적으로 프로덕션에 배포했습니다. “인간을 위한 전문가 AI(expert AI for everyone)”의 첫글자를 따서 이름 지어진 엑사원(EXAONE)은 이미지와 텍스트 데이터를 모두 사용하는 3천억 파라미터 규모의 멀티모달 모델입니다.

LG AI연구원은 Amazon SageMaker를 사용하여 대규모 파운데이션 모델을 훈련하고 Amazon FSx for Lustre를 사용하여 데이터를 인스턴스에 배포하여 모델 훈련을 가속화했습니다. LG AI연구원은 AWS를 기반으로 구축함으로써 문제를 해결하고 체크포인트를 구현하고 미세 조정하여 프로덕션에 모델을 성공적으로 배포할 수 있었습니다.

LG AI연구원의 송광모 연구원은 다음과 같이 설명합니다. “Amazon SageMaker의 고성능 분산 훈련 인프라를 사용하면 연구원들이 인프라 관리 대신 모델 훈련에만 집중할 수 있습니다. 또한 Amazon SageMaker의 병렬 데이터 라이브러리를 활용하면 GPU 수와 모델 파라미터 수가 증가하기 때문에 훈련 결과를 빠르게 얻을 수 있었습니다.”

LG AI연구원은 별도의 인프라 관리 팀이 필요 없기 때문에 비용을 약 35% 절감했습니다. 또한 Amazon SageMaker 분산 데이터 병렬 라이브러리를 사용하여 데이터 처리 속도가 약 60% 향상되었습니다.

LG AI연구원은 엑사원을 활용하여 Tilda라는 AI 가상 아티스트를 개발했습니다. Tilda의 예술적인 면은 6,000억 점의 예술 작품과 2억 5천만 개의 고해상도 이미지를 텍스트와 함께 사용하여 훈련된 엑사원에서 비롯됩니다. 가상 아티스트 Tilda는 패션 디자이너인 박윤희 씨를 위해 3,000개의 이미지와 패턴을 생성했습니다. 박윤희 디자이너는 과거 Tilda의 이미지와 패턴을 사용하여 2022 뉴욕 패션 위크에 출품할 200개 이상의 의상을 디자인하기도 했습니다.

박윤희 디자이너는 LG AI연구원와의 작업을 통해 AI 기술을 예술 산업으로 확장하고 AI 생태계를 성장시키며 산업 간 협업을 촉진할 수 있는 잠재력을 보여주었습니다. 이 회사는 최근 뉴욕의 파슨스 디자인 스쿨과 파트너십을 맺고 패션 산업에 활용할 첨단 AI 기술에 대한 공동 연구를 수행한다고 발표했습니다.

Tilda를 통해 엑사원은 파운데이션 모델을 사용하여 제조 및 연구부터 교육 및 금융에 이르기까지 광범위한 부문을 혁신하는 방법을 보여주었습니다. LG AI연구원은 파운데이션 모델을 사용하여 인간의 삶을 더 가치 있게 만들기 위한 작업을 계속하고 있으며 향후 프로젝트에서 AWS와 긴밀히 협력할 수 있기를 기대합니다.