Forethought Technologies가 Amazon SageMaker를 사용하여 생성형 AI의 비용 및 성능을 최적화하는 방법

Forethought 고객 서비스 솔루션 제품군은 대화, 스토리, 이미지, 동영상, 음악 등을 포함한 새로운 콘텐츠와 아이디어를 만들 수 있는 AI 유형인 생성형 AI로 구동됩니다. Forethought 제품의 중심에는 대규모 언어 모델과 정보 검색 시스템을 사용하여 매년 3,000만 건 이상의 고객 상호 작용을 지원하는 SupportGPT 기술이 있습니다. 이 회사는 자동화를 통해 대화형 AI로 사용자를 지원함으로써 고객 지원 팀의 부담을 줄여줍니다. Forethought 고객 중 상당수는 휴일이나 세금 시즌과 같은 바쁜 기간에 이 회사의 제품을 사용하여 더 적은 수의 고객 지원 에이전트로 더 많은 고객 문제를 처리합니다. Forethhought는 고객을 위해 초개인화된 ML 모델을 제공하며, 개별 사용 사례에 따라 종종 고객당 여러 모델을 훈련합니다.

Forehought는 2017년 미국에서 설립되었으며 처음에는 여러 클라우드 제공업체를 사용하여 제품을 호스팅했으며, ML 모델 훈련에 Amazon SageMaker를 사용했습니다. 처음 2년 동안 이 회사는 AWS 클라우드와 온프레미스에서 Kubernetes를 실행하기 위한 관리형 Kubernetes 서비스인 Amazon Elastic Kubernetes Service(Amazon EKS)를 사용하여 ML 추론을 위한 솔루션을 구축했습니다. 회사가 지속적으로 성장하고 신규 고객을 확보하면서 Forethought는 솔루션의 가용성을 개선하고 비용을 절감하고자 했습니다.

확장성, 가용성 및 비용 최적화 요구 사항을 충족하기 위해 Forehought는 ML 추론을 Amazon SageMaker로 마이그레이션하기로 결정했고, Amazon SageMaker의 추가 기능을 사용하여 제품을 개선하기 시작했습니다. 이 프로세스에서 Forehought는 Amazon SageMaker를 사용하여 달성할 수 있는 지연 시간 및 가용성 개선의 이점을 활용할 수 있도록 파이프라인을 설계했습니다. “Amazon SageMaker 팀은 물론 전반적으로 우리에게 필요한 것은 무엇이든 적합한 사람과 연결해 주었고 이를 통해 AWS를 성공적으로 사용할 수 있었습니다”라고 Forethought의 Director of Core Engineering인 Jad Chamoun은 말합니다.

Forethought는 ML 추론을 Amazon EKS에서 Amazon SageMaker 모델 배포 다중 모델 엔드포인트로 마이그레이션했습니다. 이 서비스는 대규모 모델을 배포하기 위한 확장 가능하고 비용 효율적인 솔루션입니다. Forethought 솔루션에서 이 기능을 사용한 한 가지 사례는 사용자가 입력할 때 문장의 다음 단어를 자동 완성하는 것입니다. 이 회사는 Amazon SageMaker 다중 모델 엔드포인트를 사용하여 단일 추론 엔드포인트에서 여러 ML 모델을 실행합니다. 이를 통해 GPU와 같은 하드웨어 리소스의 확장성과 효율성이 향상됩니다. 또한 이 회사는 Amazon SageMaker 다중 모델 엔드포인트를 사용하여 비용을 절감했습니다. “Amazon SageMaker를 사용하여 고객당 더 낮은 비용으로 고객을 지원할 수 있습니다”라고 Chamoun은 말합니다. “Amazon SageMaker 다중 모델 엔드포인트로 마이그레이션하여 비용을 최대 66% 절감하는 동시에 고객에게 더 나은 지연 시간과 더 나은 응답 시간을 제공했습니다.”

또한 Forehought는 특별히 구축된 추론 옵션인 Amazon SageMaker 서버리스 추론을 사용하여 기본 인프라를 구성하거나 관리하지 않고도 ML 모델을 배포하고 확장합니다. Forethought의 Amazon SageMaker 서버리스 추론은 지원 티켓의 우선순위를 자동으로 결정하는 등 각 고객 사용 사례에 따라 미세 조정된 소형 모델 및 분류기를 중심으로 이루어집니다. 일부 분류기를 Amazon SageMaker 서버리스 추론으로 마이그레이션함으로써 Forehought는 관련 클라우드 비용을 약 80% 절감했습니다.

Forehought의 클라우드 인프라 팀원 3명입니다. 모든 ML 모델과 Kubernetes 클러스터를 실행하고 관리하기에는 소규모 팀에 너무 많은 오버헤드가 걸렸습니다. Amazon SageMaker를 사용하여 이 회사는 보유한 인력으로 원하는 만큼 확장할 수 있습니다. “Amazon SageMaker 다중 모델 엔드포인트 내에서 여러 인스턴스를 실행합니다”라고 Chamoun은 말합니다. “과거보다 더 나은 가용성을 제공하면서 리소스를 더 효율적으로 공유할 수 있게 되었습니다.”

Amazon SageMaker를 사용하여 Forethought 팀은 3명의 엔지니어가 해결하는 데 상당한 시간을 들였을 문제인 메모리 예외나 가용성에 대해 더 이상 걱정할 필요가 없습니다. 이 회사는 Amazon SageMaker를 사용하여 언어 모델을 위한 자동화된 파이프라인을 설정했기 때문에 Forethought 팀과 고객은 훈련하려는 데이터와 접속하고 데이터를 제출할 수 있습니다. Chamoun은 이렇게 말합니다. “훈련, 배포 및 규모 조정이 진행되는 동안 개입할 필요가 없었기 때문에 회사에 더 큰 영향을 미치는 다른 작업을 수행할 수 있었습니다.” Forethought는 이제 Amazon SageMaker 다중 모델 엔드포인트와 Amazon SageMaker 서버리스 추론 등 Amazon SageMaker에서 GPU 추론의 80% 이상을 실행합니다.