고객 성공 사례 / 소프트웨어 및 인터넷 / 미국 

2024
Perplexity 로고

Perplexity, Amazon Bedrock에서 Anthropic Claude 3을 사용하여 고급 검색 엔진 구축

Perplexity의 AI 기반 검색 엔진이 Amazon Bedrock과 Anthropic Claude 3을 사용하여 사용자 쿼리에 대한 정확하고 포괄적인 답변을 제공하는 방법을 알아보세요.

오프로드

ML 인프라 관리

제공

사용자를 위한 다양한 LLM 옵션

단순화

개방형 및 독점 모델에 대한 액세스

규모 조정

추가 모델 수용 가능

개요

기존의 온라인 검색 엔진에 대한 강력한 대안을 제시하고자 했던 Perplexity는 선별된 일련의 소스를 기반으로 개인화된 대화형 답변을 제공하는 대화형 검색 도우미를 개발했습니다. 사용자는 연관성이 높고 정확하며 이해하기 쉬운 정보를 얻기 위해 여러 고성능 대규모 언어 모델(LLM) 중에서 선택할 수 있습니다.

Perplexity는 Anthropic의 인기 있는 최첨단 LLM Claude와 같은 독점 모델에 대한 액세스를 간소화하고 오픈 소스 LLM을 미세 조정하기 위해 검색 엔진인 Perplexity AI를 위한 강력한 글로벌 인프라가 필요했습니다. 이 회사는 Amazon Web Services(AWS)에 Perplexity AI를 구축하기로 결정했습니다. 이 솔루션은 엔터프라이즈급 보안 및 개인 정보 보호, 업계 최고의 파운데이션 모델(FM)에 대한 액세스, 생성형 인공 지능(AI)으로 구동되는 애플리케이션을 제공하는 광범위한 서비스를 제공합니다. Perplexity는 AWS에서 자체 모델을 실행하는 것 외에도 사용하면 조직에서 보안, 개인 정보 보호 및 책임 있는 AI를 포함하여 생성형 AI 애플리케이션을 구축하는 데 필요한 광범위한 기능 세트를 활용할 수 있으며 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI 및 Amazon과 같은 선도적인 AI 회사의 다양한 고성능 FM을 단일 API를 통해 제공하는 완전 관리형 서비스인 Amazon Bedrock을 통해 사용자에게 Claude에 액세스할 수 있도록 합니다.

AWS re:Invent 2023 - 고객 기조연설 Perplexity | AWS 이벤트

기회 | AWS를 사용한 대화형 검색 엔진 구축

2022년 12월에 출시된 Perplexity AI는 시간이 지남에 따라 사용자의 관심사와 선호도를 학습하여 컨텍스트를 판단하고 상호 작용을 개인화할 수 있습니다. 각 검색 결과에 소스 목록이 함께 제공되므로 사용자는 정보의 신뢰성도 파악할 수 있습니다.

Perplexity는 퍼블릭 API 서비스를 시작한 이래로 거의 모든 사용 사례에서 고성능, 저비용 기계 학습(ML)을 위한 광범위한 도구 세트를 통합하는 완전 관리형 서비스인 Amazon SageMaker를 사용해 왔습니다. Perplexity는 여러 클라우드 공급자를 평가한 후 Amazon Bedrock 사용을 보완하기 위한 모델 교육 및 추론을 위해 AWS를 선택했습니다. “AWS를 사용하면서 GPU에 액세스할 수 있었고 사전 예방적인 AWS 팀의 기술 전문성을 활용할 수 있었습니다.”라고 Perplexity의 최고 기술 책임자인 Denis Yarats는 말합니다. 이 회사는 다양한 컴퓨팅, 최대 3,200Gbps의 네트워킹, ML 프로젝트의 가격 대비 성능을 최적화하도록 특별히 구축된 스토리지 서비스를 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)에서 인스턴스 유형을 테스트했습니다. 특히 Perplexity는 NVIDIA A100 GPU로 구동되고 분산 교육에 최적화된 Amazon EC2 P4de 인스턴스를 사용하여 오픈 소스 FM을 미세 조정합니다.

Perplexity AI 사용자는 Amazon Bedrock을 통해 AWS 파트너Anthropic의 Claude 3 모델 제품군에서 모델을 선택할 수 있습니다. Claude 3 모델은 최고 수준의 성능 외에 전문성, 정확성, 상황에 맞는 정보도 제공합니다. “Amazon Bedrock과 같은 고성능 서비스를 사용하는 덕분에 저희 팀은 제품의 신뢰성과 지연 시간을 효과적으로 관리하면서 Anthropic의 강력한 모델을 활용할 수 있게 되었습니다.”라고 Perplexity 기술팀 멤버인 William Zhang은 말합니다.

kr_quotemark

Amazon Bedrock과 같은 고성능 서비스를 사용하는 덕분에 저희 팀은 제품의 신뢰성과 지연 시간을 효과적으로 관리하면서 Anthropic의 강력한 모델을 활용할 수 있게 되었습니다.”

William Zhang
Perplexity 기술팀 멤버

솔루션 | Amazon Bedrock과 Anthropic Claude 3를 사용하여 책임 있고 정확한 검색 경험 향상

Claude는 간결하고 자연스러운 언어로 정보를 제공하기 때문에 사용자는 명확한 답변에 빠르게 도달할 수 있습니다. Claude 3 모델은 약 150,000단어 또는 500페이지 이상에 해당하는 20만 토큰의 컨텍스트 창을 제공하므로 사용자는 대용량 문서를 빠르게 업로드하고 분석할 수 있습니다. “무언가를 제품의 일부로 만드는 데에는 사용 편의성이 필수적입니다.”라고 Zhang은 말합니다. “Amazon Bedrock에서 Claude 3을 사용한 것은 멋진 개발자 경험 중 하나였습니다.”

Perplexity는 LLM의 부정확한 출력인 할루시네이션을 줄임으로써 모든 검색 결과를 정확하고 유용하게 만드는 것을 목표로 합니다. Anthropic의 이전 모델인 Claude 2.1은 이미 할루시네이션 비율을 절반으로 줄였습니다. 또한 Anthropic은 Claude 3 제품군에서 할루시네이션 현상을 줄이고 Claude 2.1보다 훨씬 더 향상된 수준으로 정확도를 높이는 등 추가적인 개선을 이루어냈습니다. Anthropic은 모델 할루시네이션을 0으로 만들기 위해 노력하고 있으며 Perplexity는 인간 주석자를 통해 사용자에게 정확하고 안전하며 신뢰할 수 있는 정보를 추가로 제공합니다. 또한 Perplexity는 책임 있는 AI에 대한 Anthropic과 AWS의 노력을 통해 이점을 얻을 수 있습니다. “Amazon Bedrock에 내장된 콘텐츠 필터가 있어 사용자들이 의도하지 않은 목적으로 당사 솔루션을 사용하려 할 때 이를 알립니다.”라고 Perplexity의 클라우드 인프라 엔지니어인 Aarash Heydari는 말합니다. Anthropic은 핵심적인 안전 및 연구 회사로서 ‘탈옥’, 즉 유해한 반응을 일으키거나 모델을 오용하려는 시도에 맞서 싸우는 업계 선두 주자입니다.

Perplexity는 또한 AWS 기반 인프라에서 다른 모델을 계속 미세 조정하고 있습니다. 2023년 8월, Perplexity는 Amazon SageMaker HyperPod의 초기 베타 테스터가 되었으며 이를 통해 FM 훈련용 ML 인프라 구축 및 최적화와 관련된 획일적이며 번거로운 작업을 없앨 수 있습니다. Perplexity의 엔지니어들은 AWS 솔루션스 아키텍트와 협력하여 가속화된 Amazon EC2 P4de 인스턴스 전반에서 교육 워크로드를 자동으로 분할하고 병렬로 처리하는 획기적인 확장 가능한 인프라를 생성했습니다. Amazon SageMaker HyperPod는 Amazon SageMaker의 분산 교육 라이브러리로 사전 구성되어 있어 성능이 더욱 향상됩니다. “교육 처리 속도가 두 배로 빨라졌습니다.”라고 Heydari는 말합니다. “인프라는 관리가 간단했고 하드웨어 관련 장애가 크게 줄었습니다.”

Perplexity가 Amazon SageMaker HyperPod를 통해 파운데이션 모델 훈련을 40% 가속화한 방법에 대해 자세히 알아보려면 이 사례 연구를 읽어보세요.

2개월 후 Perplexity는 사용자가 AWS에서 호스팅되고 Mistral 7B 및 Mixtral 8x7B를 사용하여 미세 조정된 독점 온라인 모델인 Sonar Small and Medium에 액세스할 수 있도록 퍼블릭 API를 출시했습니다. 이러한 온라인 LLM은 시간에 민감한 쿼리에 응답하기 위해 교육 데이터보다 인터넷 지식을 우선시합니다. “모델 교육 및 추론을 위한 인프라는 모두 Amazon SageMaker HyperPod에 의해 구동되며, 이는 AWS를 선택하는 데 중요한 요소였습니다.”라고 Heydari는 말합니다. “Amazon SageMaker HyperPod은 AI 혁신을 주도하는 데 중요한 역할을 했습니다.”

Perplexity AI는 사용자의 요구에 맞는 다양한 모델을 지속적으로 제공하여 Claude의 최신 버전에 자동으로 액세스하고 사용자가 새로운 기능을 이용할 수 있게 합니다.

“AWS에서는 복잡한 제품을 작동시키기 위해 필요한 모든 인프라를 하나로 통합할 수 있어 매우 안정적인 경험을 할 수 있습니다.”라고 Heydari는 말합니다. “우리는 AI 기능의 최첨단을 유지하고, 강력한 모델을 사용하며, 사용자 경험을 향상시키는 모든 것에 개방되어 있습니다.”

Perplexity 소개

Perplexity AI는 자연어 처리 및 Amazon Bedrock과 같은 고급 기술을 사용하여 월간 1,000만 명 이상의 사용자의 쿼리에 정확하고 포괄적인 답변을 제공하는 AI 기반 검색 엔진 및 챗봇입니다.

사용된 AWS 서비스

Amazon Bedrock

Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI 및 Amazon과 같은 선도적인 AI 회사의 다양한 고성능 파운데이션 모델(FM)을 단일 API를 통해 제공하는 완전 관리형 서비스입니다. 이 서비스를 사용하면 보안, 개인정보 보호 및 책임형 AI를 포함하여 생성형 AI 애플리케이션을 구축하는 데 필요한 광범위한 기능 세트를 활용합니다.

자세히 알아보기 »

Amazon SageMaker HyperPod

AmazonSageMaker HyperPod는 파운데이션 모델(FM) 훈련을 위한 기계 학습(ML) 인프라를 구축하고 최적화하는 것과 관련된 힘든 작업을 제거하여 훈련 시간을 최대 40% 단축합니다.

자세히 알아보기 »

Amazon EC2

Amazon Elastic Compute Cloud(Amazon EC2)는 워크로드의 요구 사항을 가장 잘 충족할 수 있도록 750개가 넘는 인스턴스 및 다양한 최신 프로세서, 스토리지, 네트워킹, 운영 체제 및 구매 모델을 갖춘 가장 광범위하고 심층적인 컴퓨팅 플랫폼을 제공합니다.

자세히 알아보기 »

생성형 AI 고객 사례 더 보기

Showing results: 1-4
Total results: 234

항목을 찾을 수 없음 

1 59

시작하기

모든 산업에서 다양한 규모의 조직이 AWS를 통해 매일 비즈니스를 혁신하고 임무를 수행하고 있습니다. 지금 전문가와 상담하고 AWS로의 여정을 시작하세요.