AI21 Lab은 Amazon SageMaker를 사용하여 생성형 AI 모델 도입을 가속화합니다.

2017년에 설립된 AI21은 3만 명 이상의 개발자가 자체 생성형 AI 애플리케이션을 구축하는 데 사용하는 AI21 Studio를 통해 기업에 독점 언어 모델을 제공합니다. 또한 AI 기반 쓰기 및 읽기 도우미인 Wordtune도 제공합니다. Wordtune은 전 세계 수천만 명의 사용자가 문자 언어를 사용할 수 있도록 지원합니다.

2021년 8월, AI21은 Jurassic-1 언어 모델을 두 가지 크기로 출시했습니다. 75억 개의 파라미터를 사용한 Large 모델은 빠르고 비용 대비 효과가 우수하며, 1,780억 개의 파라미터를 사용한 Jumbo 모델은 고품질 텍스트 출력을 제공하지만 비용이 더 높습니다. Large 모델은 최고의 품질을 제공하기는 하지만 대규모로 운영할 경우 비용이 많이 들고 운영 민첩성이 떨어질 수 있습니다. 대규모 운영 시 고객이 비용과 품질 간의 균형을 최적화할 수 있도록 AI21은 2022년 12월 Amazon SageMaker를 사용하여 170억 개의 파라미터가 사용되고 사전 훈련된 세 번째 모델인 Grande를 출시했습니다.

AI21은 개시 후 2개월 만에 프로젝트를 신속하게 완료했으며, 모델을 사전 훈련하는 데 20일도 걸리지 않았습니다. LLM은 수십억 개의 파라미터를 사용한 대규모 신경망인 만큼, 훈련하는 데 대규모 컴퓨팅 리소스가 필요하므로 구현이 까다롭고 시간이 많이 걸리는 프로젝트입니다. AI21은 Amazon SageMaker를 사용하여 더 간단하고 효율적인 모델 훈련 프로세스를 실현했으며, 필요한 만큼 많은 수의 GPU로 분산 훈련 작업을 확장할 수 있었습니다. AI21의 Platform 부문 Vice President인 Dan Padnos는 “AWS의 Solutions Architect가 양방향 소통을 통해 저희 요청에 신속하게 대응해주었기 때문에 문제를 해결하고 프로젝트를 제시간에 완료할 수 있었습니다”라고 말합니다.

이미 AWS를 사용해 본 경험이 있는 이 회사는 비용 효율적이고 간편한 완전관리형 Amazon SageMaker를 선택했습니다. 또한 AI21은 기존 훈련 소프트웨어 스택을 계속 사용하여 빠르게 시작하고 운영할 수 있었는데, 이는 회사가 비즈니스를 구축하는 데 있어 중요한 조건이었습니다. 20일 안에 Grande 모델을 사전 훈련하기 위해 AI21은 32개 인스턴스에 분산된 256개의 A100 GPU를 사용해야 했습니다. 대규모 훈련에는 노드 할당을 오케스트레이션하고 중앙 위치에서 로깅을 지원하며 수동 감독을 줄일 수 있는 도구가 필요했습니다. Padnos는 “이 정도 규모의 분산 훈련 작업을 운영하다 보면 사소하거나 평범해 보일 수 있는 모든 종류의 기술적 문제가 큰 골칫거리가 될 수 있습니다. Amazon SageMaker는 이러한 복잡성을 관리하면서 세부적인 부분을 구현하는 데 필요한 팀의 작업량은 줄이는 데 활용할 수 있는 기능을 제공합니다”라고 말합니다. 예를 들어 Amazon SageMaker는 회사에서 효율성을 높이는 데 사용할 수 있는 상태 확인 및 중앙 로깅과 같은 기능을 제공합니다.

AI21은 Amazon SageMaker를 사용하여 새로운 모델을 빠르게 출시했습니다. 이 회사는 이전 훈련 방법에 비해 몇 주의 시간을 절약할 수 있을 것으로 예상하고 있습니다. Padnos는 “Amazon SageMaker가 노드 장애를 처리하고, 정상적으로 재시작하고, 대규모 분산 실행을 오케스트레이션해주므로, 모델 사전 훈련 작업을 수행하는 팀이 핵심 작업에 집중할 수 있습니다. 기술적인 문제를 해결하는 것이 아니라, 모델의 성능과 훈련이 어떻게 진행되고 있는지 평가하는 데 집중할 수 있습니다”라고 말합니다.

Grande 모델의 기능은 대다수 AI21 고객의 요구 사항을 보다 효과적으로 충족할 수 있어 일정 단축이라는 중요한 이점을 얻을 수 있었습니다. 자동 이메일 초안 작성과 같은 소비자 대상 사용 사례가 있는 고객의 경우에는 대규모 확장의 비용 효율성을 높여야 하는 만큼 Jumbo 모델에서 Grande 모델로의 마이그레이션을 중요하게 여겼습니다. Grande 모델을 도입한 지 불과 몇 달 만에, 이 모델이 회사 트래픽의 약 2/3를 차지하게 되었습니다. Padnos는 “빠른 속도로 도입되었으며, 그 결과에 매우 만족하고 있습니다. Amazon SageMaker를 사용한 경험은 매우 긍정적이었습니다. 예상했던 성과를 예상치 못한 문제 없이 제시간에 예산에 맞춰 달성했습니다”라고 말합니다.

사용자 경험이 원활해야 하는 만큼, 낮은 추론 지연 시간은 생성형 AI 애플리케이션의 주요 고려 사항 중 하나입니다. 사용자는 Wordtune과 같은 도구를 사용하여 콘텐츠 초안을 작성할 때, 사고 프로세스를 지연시키는 문제 없이 AI를 빠른 참조 도구로 사용하기를 원합니다. Amazon SageMaker를 사용하여 Grande 모델에서 짧은 추론 지연 시간을 실현한 AI21은 고객 요구 사항을 최대한 효과적으로 충족함으로써 대규모 고객 중 하나의 지연 시간을 4배까지 줄일 수 있었습니다. 그 결과 AI21의 고객은 사용자 경험을 저해하지 않으면서 매일 수백만 명의 사용자에게 거의 실시간으로 서비스를 제공할 수 있게 되었습니다. Padnos는 “대규모 고객 중 한 곳의 경우 사용자 만족도 지표가 크게 개선되었는데, 이는 Jumbo 모델에서 Grande 모델로 마이그레이션하면서 지연 시간이 크게 단축된 덕분이었습니다”라고 말합니다.

Grande 모델의 출시는 AI21과 고객 모두의 성장에도 기여했습니다. Padnos는 “Amazon SageMaker를 사용하여 훈련한 Grande 모델을 출시한 후 전반적인 트래픽이 증가했습니다. 또한 Grande 모델로 마이그레이션한 개별 고객의 트래픽도 증가했습니다”라고 말합니다.

Grande 모델(현재 이름 Mid)은 내장 알고리즘, 파운데이션 모델 및 사전 구축된 ML 솔루션을 갖춘 ML 허브로서 Amazon SageMaker 사용자가 클릭 몇 번으로 배포할 수 있는 Amazon SageMaker JumpStart에서 사용할 수 있습니다. 데이터 수명 주기가 사용자 환경 내에 포함되어 프라이버시가 유지되며, 조직은 코드를 작성할 필요 없이 또한 코드 플레이그라운드를 사용하지 않고도 언어 모델을 데이터에 적용할 수 있습니다. AI21의 차세대 파운데이션 모델 시리즈인 Jurassic-2와 작업별 모델도 Amazon SageMaker JumpStart에서 사용할 수 있습니다.

AI21은 앞으로 몇 달, 몇 년 동안 전 세계적으로 생성형 AI 도입 사례가 증가할 것으로 기대하고 있습니다. 이 회사는 AWS 서비스를 사용하여 더 빠르고 더 정확하고 신뢰성이 높으며 비용 효과적인 LLM을 만들기 위해 적극적으로 노력하고 있습니다. Padnos는 “저희는 AWS 팀과 정말 좋은 관계를 유지하고 있습니다. AWS 팀원들은 저희와 함께 기술적 세부 사항을 자세하게 검토하면서 어려운 작업을 도와주었습니다. 프로세스 전반에 걸쳐 AWS 팀은 창의적이었으며 저희의 과제와 목표를 잘 파악하고 있었습니다”라고 말합니다.

자세히 알아보려면 https://aws.amazon.com/sagemaker를 방문해 보세요.