Perplexity, Amazon Bedrock에서 Anthropic Claude 3을 사용하여 고급 검색 엔진 구축

2022년 12월에 출시된 Perplexity AI는 시간이 지남에 따라 사용자의 관심사와 선호도를 학습하여 컨텍스트를 판단하고 상호 작용을 개인화할 수 있습니다. 각 검색 결과에 소스 목록이 함께 제공되므로 사용자는 정보의 신뢰성도 파악할 수 있습니다.

Perplexity는 퍼블릭 API 서비스를 시작한 이래로 거의 모든 사용 사례에서 고성능, 저비용 기계 학습 (ML) 을 위한 광범위한 도구 세트를 통합하는 완전 관리형 서비스인 Amazon SageMaker를 사용해 왔습니다. Perplexity는 여러 클라우드 공급자를 평가한 후 Amazon Bedrock 사용을 보완하기 위한 모델 교육 및 추론을 위해 AWS를 선택했습니다. “AWS를 사용하면서 GPU에 액세스할 수 있었고 사전 예방적인 AWS 팀의 기술 전문성을 활용할 수 있었습니다.”라고 Perplexity의 최고 기술 책임자인 Denis Yarats는 말합니다. 이 회사는 다양한 컴퓨팅, 최대 3,200Gbps의 네트워킹, ML 프로젝트의 가격 대비 성능을 최적화하도록 특별히 구축된 스토리지 서비스를 제공하는 Amazon Elastic Compute Cloud (Amazon EC2) 에서 인스턴스 유형을 테스트했습니다. 특히 Perplexity는 NVIDIA A100 GPU로 구동되고 분산 교육에 최적화된 Amazon EC2 P4de 인스턴스를 사용하여 오픈 소스 FM을 미세 조정합니다.

퍼플렉시티 AI 사용자는 아마존 베드록을 통해 AWS 파트너인 앤트로픽의 클로드 3 모델 제품군 중에서 모델을 선택할 수 있습니다. Claude 3 모델은 최고 수준의 성능 외에 전문성, 정확성, 상황에 맞는 정보도 제공합니다. “Amazon Bedrock과 같은 고성능 서비스를 사용하는 덕분에 저희 팀은 제품의 신뢰성과 지연 시간을 효과적으로 관리하면서 Anthropic의 강력한 모델을 활용할 수 있게 되었습니다.”라고 Perplexity 기술팀 멤버인 William Zhang은 말합니다.

Claude는 간결하고 자연스러운 언어로 정보를 제공하기 때문에 사용자는 명확한 답변에 빠르게 도달할 수 있습니다. Claude 3 모델은 약 150,000단어 또는 500페이지 이상에 해당하는 20만 토큰의 컨텍스트 창을 제공하므로 사용자는 대용량 문서를 빠르게 업로드하고 분석할 수 있습니다. “무언가를 제품의 일부로 만드는 데에는 사용 편의성이 필수적입니다.”라고 Zhang은 말합니다. “Amazon Bedrock에서 Claude 3을 사용한 것은 멋진 개발자 경험 중 하나였습니다.”

Perplexity는 LLM의 부정확한 출력인 할루시네이션을 줄임으로써 모든 검색 결과를 정확하고 유용하게 만드는 것을 목표로 합니다. Anthropic의 이전 모델인 Claude 2.1은 이미 할루시네이션 비율을 절반으로 줄였습니다. 또한 Anthropic은 Claude 3 제품군에서 할루시네이션 현상을 줄이고 Claude 2.1보다 훨씬 더 향상된 수준으로 정확도를 높이는 등 추가적인 개선을 이루어냈습니다. Anthropic은 모델 할루시네이션을 0으로 만들기 위해 노력하고 있으며 Perplexity는 인간 주석자를 통해 사용자에게 정확하고 안전하며 신뢰할 수 있는 정보를 추가로 제공합니다. 또한 Perplexity는 책임감 있는 AI에 대한 Anthropic과 AWS의 노력을 통해 이점을 얻을 수 있습니다. “Amazon Bedrock에 내장된 콘텐츠 필터가 있어 사용자들이 의도하지 않은 목적으로 당사 솔루션을 사용하려 할 때 이를 알립니다.”라고 Perplexity의 클라우드 인프라 엔지니어인 Aarash Heydari는 말합니다. Anthropic은 핵심적인 안전 및 연구 회사로서 ‘탈옥’, 즉 유해한 반응을 일으키거나 모델을 오용하려는 시도에 맞서 싸우는 업계 선두 주자입니다.

Perplexity는 또한 AWS 기반 인프라에서 다른 모델을 계속 미세 조정하고 있습니다. 2023년 8월, Perplexity는 Amazon SageMaker HyperPod의 초기 베타 테스터가 되었습니다. 이를 통해 FM 교육을 위한 ML 인프라를 구축하고 최적화하는 데 수반되는 차별화되지 않은 무거운 작업을 없앨 수 있습니다. Perplexity의 엔지니어들은 AWS 솔루션스 아키텍트와 협력하여 가속화된 Amazon EC2 P4de 인스턴스 전반에서 교육 워크로드를 자동으로 분할하고 병렬로 처리하는 획기적인 확장 가능한 인프라를 생성했습니다. Amazon SageMaker HyperPod는 Amazon SageMaker의 분산 교육 라이브러리로 사전 구성되어 있어 성능이 더욱 향상됩니다. “교육 처리 속도가 두 배로 빨라졌습니다.”라고 Heydari는 말합니다. “인프라는 관리가 간단했고 하드웨어 관련 장애가 크게 줄었습니다.”

Perplexity가 Amazon SageMaker HyperPod를 사용하여 기초 모델 학습을 40% 가속화하는 방법에 대해 자세히 알아보려면 이 사례 연구를 읽어보십시오.

2개월 후 Perplexity는 사용자가 AWS에서 호스팅되고 Mistral 7B 및 Mixtral 8x7B를 사용하여 미세 조정된 독점 온라인 모델인 Sonar Small and Medium에 액세스할 수 있도록 공개 API를 출시했습니다. 이러한 온라인 LLM은 시간에 민감한 쿼리에 응답하기 위해 교육 데이터보다 인터넷 지식을 우선시합니다. “모델 교육 및 추론을 위한 인프라는 모두 Amazon SageMaker HyperPod에 의해 구동되며, 이는 AWS를 선택하는 데 중요한 요소였습니다.”라고 Heydari는 말합니다. “Amazon SageMaker HyperPod은 AI 혁신을 주도하는 데 중요한 역할을 했습니다.”

Perplexity AI는 사용자의 요구에 맞는 다양한 모델을 지속적으로 제공하여 Claude의 최신 버전에 자동으로 액세스하고 사용자가 새로운 기능을 이용할 수 있게 합니다.

“AWS에서는 복잡한 제품을 작동시키기 위해 필요한 모든 인프라를 하나로 통합할 수 있어 매우 안정적인 경험을 할 수 있습니다.”라고 Heydari는 말합니다. “우리는 AI 기능의 최첨단을 유지하고, 강력한 모델을 사용하며, 사용자 경험을 향상시키는 모든 것에 개방되어 있습니다.”