客戶案例 / 軟體與網際網路 / 美國 

2024 年
Perplexity 標誌

Perplexity 在 Amazon Bedrock 中使用 Anthropic Claude 3 建置進階搜尋引擎

了解 Perplexity 由 AI 技術支援的搜尋引擎如何使用 Amazon Bedrock 和 Anthropic Claude 3,為使用者查詢提供準確的全面性解答。

減輕

ML 基礎架構的管理負擔

提供

多種 LLM 選項供使用者運用

簡化

開放式和專有模型的存取方式

擴展

以容納其他型號

概觀

Perplexity 希望提供能夠取代傳統線上搜尋引擎的強大方案,因此建立了一個互動式搜尋夥伴,其可根據精選資源以對話方式提供個人化的答案。使用者可以在多個高效能大型語言模型 (LLM) 中做出選擇,以取得相關、準確且易於理解的資訊。

為了簡化對專有模型 (例如 Anthropic 廣受歡迎的尖端 LLM Claude) 的存取方式,以及微調開放原始碼 LLM,Perplexity 需要為其搜索引擎 Perplexity AI 提供一個強大的全球基礎架構。該公司選擇在 Amazon Web Services (AWS) 上建置 Perplexity AI,因為 AWS 具備了廣泛的服務,可提供企業級安全性和隱私權、業界最先進基礎模型 (FM) 的存取權,以及採用生成式人工智慧 (AI) 技術的應用程式。除了在 AWS 上執行自有的模型外,Perplexity 還能夠讓使用者透過 Amazon Bedrock 存取 Claude,Amazon Bedrock 是一項全受管服務,透過單一 API 提供來自領先 AI 公司的各種高效能基礎模型 (FM) 選擇 (例如 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon),同時具備各種廣泛功能,可用以建置設有安全、隱私與負責任 AI 的生成式 AI 應用程式。

2023 年 AWS re:Invent - Perplexity 客戶主題演講 | AWS 活動

商機 | 使用 AWS 建立對話式搜尋引擎

Perplexity AI 於 2022 年 12 月推出,透過持續了解使用者的興趣和偏好來判斷內容,以及對互動進行個人化。使用者還可以了解資訊的可信度,因為每個搜尋結果都附帶一個來源清單。

自其公用 API 服務建立以來,Perplexity 一直都在使用 Amazon SageMaker,這是一項結合了一系列工具的全受管服務,可打造高效能、低成本的機器學習 (ML),而且幾乎適用於任何使用案例。在評估多個雲端供應商之後,Perplexity 選擇了 AWS 來用於其模型的訓練和推論作業,與其使用的 Amazon Bedrock 形成互補。「藉由 AWS,我們可以存取 GPU,並受益於 AWS 團隊積極主動提供的技術專業知識。」Perplexity 首席技術官 Denis Yarats 表示。該公司測試了 Amazon Elastic Compute Cloud (Amazon EC2) 的執行個體類型,Amazon EC2 可提供多種運算選擇、高達 3,200 Gbps 的網路,以及專為最佳化 ML 專案價格效能而打造的儲存服務。具體而言,Perplexity 使用 Amazon EC2 P4de 執行個體以微調開放原始碼 FM,這些執行個體採用 NVIDIA A100 GPU 技術,並已針對分散式訓練經過最佳化。

藉助 Amazon Bedrock,Perplexity AI 使用者可以從 AWS 合作夥伴 Anthropic 的 Claude 3 系列模型中做選擇。除了最先進的效能之外,Claude 3 模型還具有專業知識、準確性和上下文理解能力。「藉助 Amazon Bedrock 等高效能服務,我們能夠利用 Anthropic 強大的模型,有效維持產品的可靠性和延遲性。」Perplexity 技術團隊成員 William Zhang 指出。

kr_quotemark

藉助 Amazon Bedrock 等高效能服務,我們能夠利用 Anthropic 強大的模型,有效維持產品的可靠性和延遲性。」

William Zhang
Perplexity 技術團隊成員

解決方案 | 使用 Amazon Bedrock 和 Anthropic Claude 3 來增強負責任和準確的搜索體驗

由於 Claude 會以簡潔的自然語言提供資訊,所以使用者可以快速獲得明確的答案。因為 Claude 3 模型具有可包含 200,000 個字符 (相當於大約 150,000 個單詞或超過 500 頁內容) 的上下文視窗,所以使用者還可以快速上傳和分析大型文件。「易用性對於產品內容製作至關重要。」Zhang 表示,「開發者在 Amazon Bedrock 上使用 Claude 3 時,獲得了極佳的體驗。」

Perplexity 旨在藉由減少幻覺 (LLM 的不準確輸出),確保每個搜索結果都是準確和有用的。Anthropic 先前的 Claude 2.1 模型已經將幻覺率降低了一半。而且,Anthropic 在 Claude 3 系列上進一步減少了幻覺並提高了準確性,此系列的準確性較 Claude 2.1 來說有所提高。在 Anthropic 致力消除模型幻覺時,Perplexity 則使用人工注釋者進一步為其使用者提供準確、安全和可靠的資訊。此外,Anthropic 和 AWS 對負責任 AI 的承諾,也使得 Perplexity 有所受益。「我們很喜歡 Amazon Bedrock 內建的內容過濾器,這項功能會在人們嘗試將我們的解決方案用於預定外的用途時,對我們發出警示。」Perplexity 雲端基礎設施工程師 Aarash Heydari 表示。作為一家以安全和研究為核心的公司,Anthropic 在打擊「越獄行為」(即嘗試產生有害回應或濫用模型的行為) 方面是市場領導者。

Perplexity 還會繼續在其由 AWS 支援的基礎架構上微調其他模型。2023 年 8 月,Perplexity 成為 Amazon SageMaker HyperPod 的早期測試單位;Amazon SageMaker HyperPod 可免除建置和最佳化用於訓練 FM 的 ML 基礎架構時所需的無差別繁重工作。Perplexity 的工程師與 AWS 解決方案架構師協同創造了具突破性的可擴展基礎架構,該基礎架構可自動將訓練工作負載拆分至經過加速的 Amazon EC2 P4de 執行個體中,並且平行處理這些工作負載。Amazon SageMaker HyperPod 已預先設有 Amazon SageMaker 的分散式訓練庫,可進一步提高效能。「訓練輸送量的速度提高了一倍。」Heydari 表示,「基礎架構易於管理,而且硬體相關的故障大幅減少。」

若要進一步了解 Perplexity 如何藉由 Amazon SageMaker HyperPod 將基礎模型訓練加快 40%,請參閱此案例研究

兩個月後,Perplexity 發布了一個公用 API,讓使用者得以存取其專有線上模型 Sonar Small 和 Medium,這些模型託管於 AWS,並經 Mistral 7B 和 Mixtral 8x7B 微調。這些線上 LLM 會優先考量來自網際網路的知識 (而非訓練資料) 以回應具有時間敏感性的查詢。「我們的模型訓練和推論基礎架構均由 Amazon SageMaker HyperPod 支援,這是我們選擇 AWS 的其中一個關鍵因素。」Heydari 表示,「Amazon SageMaker HyperPod 在推動我們的人工智能創新方面發揮了重要的作用。」

Perplexity AI 會繼續為使用者提供可滿足其需求的模型選擇、自動存取 Claude 最近的疊代,讓使用者能夠存取并利用新功能。

「對於在 AWS 上可使自家複雜的產品運作的所有基礎架構方面,我們具備高度可靠的經驗。」Heydari 表示,「我們始終在 AI 功能發展的前沿、使用強大的模型,並對可增強使用者體驗的任何項目採取開放態度。」

關於 Perplexity

Perplexity AI 是一種採用 AI 技術的搜索引擎和聊天機器人,其使用自然語言處理和 Amazon Bedrock 等先進技術,每月針對超過 1,000 萬名使用者的查詢提供準確且全面的解答。

使用的 AWS 服務

Amazon Bedrock

Amazon Bedrock 是一項全受管服務,透過單一 API 提供來自領先 AI 公司的各種高效能基礎模型 (FM) 選擇 (例如 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon),同時具備各種廣泛功能,可用以建置設有安全、隱私與負責任 AI 的生成式 AI 應用程式。

進一步了解 »

Amazon SageMaker HyperPod

AmazonSageMaker HyperPod 消除了建立和優化用於訓練基礎模型 (FM) 的機器學習 (ML) 基礎設施所需的無差別繁重工作,從而縮短高達 40% 的訓練時間。

進一步了解 »

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) 提供最廣泛、最深入的運算平台,擁有超過 750 個執行個體,可供您選擇最新處理器、儲存、聯網、作業系統和購買模型,以協助您最有效地滿足工作負載需求。

進一步了解 »

更多生成式 AI 客戶案例

Showing results: 1-4
Total results: 234

找不到任何項目 

1 59

開始使用

各行各業各種規模的組織每天都在使用 AWS 來變革其業務和履行其使命。聯絡我們的專家,立即開始您的專屬 AWS 雲端之旅。