고객 성공 사례 / 소프트웨어 및 인터넷 / 미국

2024년
Perplexity 로고

Perplexity, Amazon SageMaker HyperPod를 통해 파운데이션 모델 훈련 시간 40% 단축

생성형 AI 스타트업인 Perplexity가 Amazon SageMaker HyperPod를 사용하여 모델 훈련을 어떻게 더 빠르고 효율적으로 수행하는지 알아보세요.

훈련 시간

최대 40% 단축

시간당 10만 건 이상의 쿼리

지원

짧은

지연 시간 유지 

사용자 경험

최적화

개요

변혁을 이끌고 있는 새로운 동력인 생성형 인공 지능(AI)에는 방대한 양의 데이터를 학습하여 이미지부터 텍스트까지 새로운 콘텐츠를 생성할 수 있는 기계 학습(ML) 알고리즘이 포함됩니다. Perplexity는 현재 세계 최초의 대화형 답변 엔진 중 하나를 구축하고 있으며, 생성형 AI의 힘을 활용하여 사용자가 관련 지식을 찾는 데 도움을 주고 있습니다.

정확성과 정밀성을 위해 모델을 최적화해야 하는 과제에 직면한 Perplexity는 컴퓨팅 소요량을 감당할 수 있는 강력한 솔루션이 필요했습니다. Perplexity는 사용자 경험을 향상시키겠다는 비전을 가지고 Amazon Web Services(AWS)로 눈을 돌렸습니다. Perplexity는 AWS의 첨단 ML 인프라, 훈련 라이브러리, 추론 도구를 사용하여 글로벌 사용자 기반에 대규모로 서비스를 제공하는 데 필요한 유연성, 성능, 효율성을 확보했습니다.

기회 | AWS 서비스를 통해 사용자 경험 최적화

관련성 있는 결과보다 광고와 특정 키워드를 중점적으로 노출시키는 기존 검색 엔진과 달리 Perplexity의 솔루션은 사용자가 원하는 지식과 연결하도록 최적화되어 있습니다. 매달 약 1,000만 명의 활성 사용자가 Perplexity를 사용하여 새로운 개념을 배우고, 문제를 해결하고, 답을 찾고 있습니다.

“대규모 언어 모델을 사용하면 인간의 언어 이해 및 추론 능력을 하나의 모델에 담아낼 수 있습니다. 이것이 인터넷의 사실 정보와 결합되어 답변 엔진을 구축하는 데 도움이 되었습니다”라고 Perplexity의 CEO이자 공동 창립자인 Aravind Srinivas는 말합니다. “본질적으로 우리는 기존의 검색 인덱스(사실 정보 엔진)와 추론 엔진(대규모 언어 모델)을 함께 조율하여 세계 최초의 대화형 답변 엔진을 구축했습니다.”

Perplexity는 2022년에 출시된 이후 거의 모든 워크로드에 대해 안전하고 규모 조정이 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2) 같은 핵심 AWS 서비스를 사용하여 제품의 백엔드, 프런트엔드 및 검색 구성 요소를 운용해 왔습니다. Perplexity가 성숙하고 ML 모델 수가 늘어남에 따라 사용자에게 서비스를 제공하기 위해 엄청난 컴퓨팅 파워가 필요했습니다.

Perplexity는 AWS 전문가와 이야기를 나누면서 대규모 분산 훈련 용도로 특별히 구축된 인프라인 Amazon SageMaker HyperPod로 대규모 모델 훈련을 위한 요구 사항을 충족할 수 있다는 사실을 알게 되었습니다. Amazon SageMaker 분산 훈련 라이브러리로 사전 구성되어 있는 Amazon SageMaker HyperPod는 확장성 높고 비용 효율적인 사용자 지정 데이터 병렬 및 모델 병렬 딥 러닝 훈련 작업을 1,600Gbps 이상의 상호 연결 속도에서 실행하도록 최적화되어 있습니다. 또한 Amazon SageMaker HyperPod는 체크포인트를 주기적으로 저장하여 파운데이션 모델 훈련이 중단되는 것을 방지합니다. 훈련 중에 하드웨어 장애가 발생하면 AWS 서비스는 자동으로 장애를 감지하여 결함이 있는 인스턴스를 복구하거나 교체하고 마지막으로 저장한 체크포인트에서 훈련을 재개합니다. 이로써 분산된 환경에서 몇 주나 몇 달 동안 중단 없이 모델을 훈련할 수 있습니다.

kr_quotemark

AWS에서는 권한이 고객에게 있습니다. 어떤 서비스를 사용해야 하는지에 관한 요구 사항이 없습니다.”

Aravind Srinivas
Perplexity CEO 겸 공동 창립자

솔루션 | Amazon SageMaker HyperPod로 모델 훈련 시간을 최대 40% 단축

AWS는 분산 훈련 기능을 시연하기 위해 Perplexity에 1개월 평가판을 제공했는데, 이 기간 동안 회사는 AWS를 이용하는 데 따르는 이점들을 발견했습니다. 예를 들어 Perplexity는 특정 작업에 맞춰 조정된 다양한 Amazon EC2 인스턴스 유형과 GPU를 사용하는 등의 방법으로 리소스를 더 유연하게 할당할 수 있게 되었습니다.

ML 모델을 훈련시키기 위해서는 대량의 데이터를 실행하고 다양한 그래디언트를 저장할 수 있도록 많은 양의 메모리가 필요합니다. 훈련 작업을 실행하고 메모리 및 대역폭 요구 사항을 달성하기 위해 Perplexity는 ML 훈련 및 고성능 컴퓨팅 애플리케이션에 최고의 성능을 제공하는 Amazon EC2 P4de 인스턴스를 선택했습니다. Perplexity는 Amazon SageMaker HyperPod를 사용하여 여러 GPU 간에 데이터를 훨씬 빠르게 전송함으로써 ML 모델 훈련 시간을 최대 40% 단축했습니다.

Srinivas는 이렇게 말했습니다. “Amazon SageMaker HyperPod의 내장 데이터 및 모델 병렬 라이브러리는 GPU의 훈련 시간을 최적화하고 훈련 처리량을 두 배로 높이는 데 도움이 되었습니다. 그에 따라 이제 훈련 실험 속도가 두 배나 빨라져서 개발자가 더 빠르게 반복 작업을 수행하고 고객을 위한 새로운 생성형 AI 경험 개발을 가속할 수 있게 되었습니다. Amazon SageMaker HyperPod는 클러스터 상태를 자동으로 모니터링하고 GPU 장애를 해결하기 때문에 개발자는 기본 인프라를 관리하고 최적화하는 데 시간을 소비하는 대신 모델 구축에 집중할 수 있습니다.”

Perplexity는 사용자 쿼리에 빠르고 정확한 응답을 제공하는 것을 목표로 하며, 이를 위해 실시간에 가까운 추론 능력이 필요합니다. Perplexity는 딥 러닝 애플리케이션을 위해 가장 높은 성능의 GPU 기반 인스턴스를 제공하는 Amazon EC2 P5 인스턴스를 사용하면서 이전보다 훨씬 높은 처리량으로 답변을 생성할 수 있게 되었습니다. 실제로 지연 시간이 늘어나거나 사용자 경험에 영향을 주지 않으면서 1만 명의 동시 사용자와 시간당 10만 개 이상의 쿼리가 발생하는 사용량 급증 기간에 대처할 수 있습니다. 또한 Perplexity는 공개적으로 이용할 수 있는 Llama 2 모델을 Amazon EC2 P5 인스턴스에서 호스팅하고 Amazon SageMaker HyperPod를 사용하여 회사의 자체 데이터로 오픈 소스 모델을 미세 조정하고 있습니다. 모델을 미세 조정하면 Perplexity가 운영하는 답변 엔진의 필요에 맞춰 모델이 조정되어 응답의 정확성과 관련성을 높이는 데 도움이 됩니다.

성과 | AWS 인프라와 AI 및 ML 서비스를 이용하여 생성형 AI 발전 주도

Perplexity는 성공을 바탕으로 생성형 AI의 새로운 지평을 열 준비가 되어 있습니다. 미래 지향적 전략의 일환으로 훈련 처리량을 더욱 개선하기 위해 고성능 ML 훈련 액셀러레이터인 AWS Trainium을 실험할 예정입니다. Perplexity는 또한 사용자가 대규모 언어 모델에 액세스할 수 있는 API를 출시했는데, 이 모델은 전적으로 AWS에서 실행되며 Amazon SageMaker HyperPod로 최적화되었습니다.

Perplexity는 지식 기반을 넓히고 사용자에게 보다 정확한 답변을 제공하기 위해 하나의 API로 주요 AI 업체의 고성능 파운데이션 모델을 다수 제공하는 완전관리형 서비스인 Amazon Bedrock도 채택했습니다. 예를 들어 Perplexity는 Amazon Bedrock을 통해 Claude 2를 사용하여 코딩, 수학 및 추론을 위한 고급 기능을 서비스에 통합하기 시작했습니다.

Srinivas는 “AWS에서는 권한이 고객에게 있습니다”라며 다음과 같이 말했습니다. “어떤 서비스를 사용해야 하는지에 관한 요구 사항이 없습니다. AWS 팀은 항상 ‘고객에게 가장 적합한 일을 하라. 자신의 비즈니스에 가장 적합한 일을 하라’고 말합니다. 이렇게 고객에게 맞추는 자세가 AWS에서 정말로 마음에 드는 부분입니다.”

Perplexity 소개

Perplexity는 광고와 키워드를 밀어 올리기보다 사용자가 지식 정보를 찾을 수 있도록 최적화된 실용적인 대화형 답변 엔진을 구축하고 있습니다.

사용된 AWS 서비스

Amazon SageMaker HyperPod

AmazonSageMaker HyperPod는 파운데이션 모델(FM) 훈련을 위한 기계 학습(ML) 인프라를 구축하고 최적화하는 것과 관련된 힘든 작업을 제거하여 훈련 시간을 최대 40% 단축합니다.

자세히 알아보기 »

Amazon EC2 P5 인스턴스

최신 NVIDIA H100 Tensor Core GPU로 구동되는 Amazon Elastic Compute Cloud(Amazon EC2) P5 인스턴스는 딥 러닝(DL) 및 고성능 컴퓨팅(HPC) 애플리케이션을 위한 Amazon EC2 최고의 성능을 제공합니다.

자세히 알아보기 »

Amazon EC2 P4de 인스턴스

P4de 인스턴스는 현재 P4d 인스턴스의 GPU보다 2배 뛰어난 80GB의 고성능 HBM2e GPU 메모리를 갖춘 NVIDIA A100 GPU 8개로 구동됩니다.

자세히 알아보기 »

Amazon Bedrock

Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Stability AI 및 Amazon과 같은 선도적인 AI 회사의 다양한 고성능 파운데이션 모델(FM)을 단일 API를 통해 제공하는 완전관리형 서비스입니다. 이 서비스를 사용하면 보안, 개인정보 보호 및 책임감 있는 AI를 포함하여 생성형 AI 애플리케이션을 구축하는 데 필요한 광범위한 기능 세트를 활용합니다.

자세히 알아보기 »

더 많은 소프트웨어 및 인터넷 고객 성공 사례

항목을 찾을 수 없음 

1

프리 티어에서 Amazon SageMaker 시작하기

AWS 프리 티어를 사용하는 고객은 Amazon SageMaker를 무료로 시작할 수 있습니다. 2개월의 무료 평가판 기간은 첫 번째 SageMaker 리소스를 생성하는 첫 달부터 시작됩니다.