Perplexity 在 Amazon Bedrock 中使用 Anthropic Claude 3 建置進階搜尋引擎

Perplexity AI 於 2022 年 12 月推出，透過持續了解使用者的興趣和偏好來判斷內容，以及對互動進行個人化。使用者還可以了解資訊的可信度，因為每個搜尋結果都附帶一個來源清單。

自公共 API 服務成立以來，Perplexity 一直使用 Amazon SageMaker，這是一項全受管的服務，結合了一系列各種工具，實現高效能、低成本的機器學習 (ML)，幾乎適用於任何使用案例。在評估多個雲端供應商之後，Perplexity 選擇了 AWS 來用於其模型的訓練和推論作業，與其使用的 Amazon Bedrock 形成互補。「藉由 AWS，我們可以存取 GPU，並受益於 AWS 團隊積極主動提供的技術專業知識。」Perplexity 首席技術官 Denis Yarats 表示。該公司測試了 Amazon E lastic 運算雲 (Amazon EC2) 的執行個體類型，它提供多種運算、高達 3,200 Gbps 的網路選擇，以及專為最佳化 ML 專案的價格效能而打造的儲存服務。具體而言，Perplexity 使用 Amazon EC2 P4de 執行個體，這些執行個體採用 NVIDIA A100 GPU 驅動並針對分散式訓練進行最佳化，進而微調開源 FM。

透過 Amazon Bedrock，Perplexity AI 使用者可以從 AWS 合作夥伴 Anthropic 的 Claude 3 系列模型中選擇模型。除了最先進的效能之外，Claude 3 模型還具有專業知識、準確性和上下文理解能力。「藉助 Amazon Bedrock 等高效能服務，我們能夠利用 Anthropic 強大的模型，有效維持產品的可靠性和延遲性。」Perplexity 技術團隊成員 William Zhang 指出。

由於 Claude 會以簡潔的自然語言提供資訊，所以使用者可以快速獲得明確的答案。因為 Claude 3 模型具有可包含 200,000 個字符 (相當於大約 150,000 個單詞或超過 500 頁內容) 的上下文視窗，所以使用者還可以快速上傳和分析大型文件。「易用性對於產品內容製作至關重要。」Zhang 表示，「開發者在 Amazon Bedrock 上使用 Claude 3 時，獲得了極佳的體驗。」

Perplexity 旨在藉由減少幻覺 (LLM 的不準確輸出)，確保每個搜索結果都是準確和有用的。Anthropic 先前的 Claude 2.1 模型已經將幻覺率降低了一半。而且，Anthropic 在 Claude 3 系列上進一步減少了幻覺並提高了準確性，此系列的準確性較 Claude 2.1 來說有所提高。在 Anthropic 致力消除模型幻覺時，Perplexity 則使用人工注釋者進一步為其使用者提供準確、安全和可靠的資訊。此外，人類和 AWS 對負責任人工智慧的承諾也會受益於混亂。「我們很喜歡 Amazon Bedrock 內建的內容過濾器，這項功能會在人們嘗試將我們的解決方案用於預定外的用途時，對我們發出警示。」Perplexity 雲端基礎設施工程師 Aarash Heydari 表示。作為一家以安全和研究為核心的公司，Anthropic 在打擊「越獄行為」(即嘗試產生有害回應或濫用模型的行為) 方面是市場領導者。

Perplexity 還會繼續在其由 AWS 支援的基礎架構上微調其他模型。2023 年 8 月，Perplexity 成為 Amazon SageMaker HyperPod 的早期測試測試人員，它可以消除了建立和優化機器學習基礎架構的無差異化工作，以便訓練管理員。Perplexity 的工程師與 AWS 解決方案架構師協同創造了具突破性的可擴展基礎架構，該基礎架構可自動將訓練工作負載拆分至經過加速的 Amazon EC2 P4de 執行個體中，並且平行處理這些工作負載。Amazon SageMaker HyperPod 已預先設有 Amazon SageMaker 的分散式訓練庫，可進一步提高效能。「訓練輸送量的速度提高了一倍。」Heydari 表示，「基礎架構易於管理，而且硬體相關的故障大幅減少。」

若要進一步了解 Perplexity 如何使用 Amazon SageMaker HyperPod 將基礎模型訓練加速 40% 的速度，請閱讀本案例研究。

兩個月後，Perplexity 發布了一個公用 API，讓使用者可以存取其專有線上模型 Sonar Small and Medium，這些模型是在 AWS 上託管，並使用 Mistral 7B 和 Mixtral 8x7B 進行微調。這些線上 LLM 會優先考量來自網際網路的知識 (而非訓練資料) 以回應具有時間敏感性的查詢。「我們的模型訓練和推論基礎架構均由 Amazon SageMaker HyperPod 支援，這是我們選擇 AWS 的其中一個關鍵因素。」Heydari 表示，「Amazon SageMaker HyperPod 在推動我們的人工智能創新方面發揮了重要的作用。」

Perplexity AI 會繼續為使用者提供可滿足其需求的模型選擇、自動存取 Claude 最近的疊代，讓使用者能夠存取并利用新功能。

「對於在 AWS 上可使自家複雜的產品運作的所有基礎架構方面，我們具備高度可靠的經驗。」Heydari 表示，「我們始終在 AI 功能發展的前沿、使用強大的模型，並對可增強使用者體驗的任何項目採取開放態度。」