Perplexity が Amazon Bedrock で Anthropic の Claude 3 を使用して高度な検索エンジンを構築

2022 年 12 月にリリースされた Perplexity AI は、時間の経過に伴ってユーザーの関心や好みを学習することで、コンテキストを判断し、やり取りをパーソナライズできます。各検索結果はソースのリストとともに提供されるため、ユーザーは情報の信頼性も把握できます。

Perplexity はパブリック API サービスの開始以来、Amazon SageMaker を使用してきました。 Amazon SageMaker は、事実上あらゆるユースケースに対応する高性能で低コストの機械学習 (ML) のための幅広いツールセットをまとめたフルマネージドサービスです。複数のクラウドプロバイダーを評価した後、Perplexity は、Amazon Bedrock の利用を補完することを目的として、モデルのトレーニングと推論のために AWS を選択しました。「AWS を利用することで、GPU にアクセスでき、プロアクティブな AWS チームの技術的な専門知識から恩恵を受けることができました」と Perplexity の Chief Technology Officer である Denis Yarats 氏は述べています。同社は Amazon Elastic Compute Cloud (Amazon EC2) のインスタンスタイプをテストしました。Amazon EC2 は、機械学習プロジェクトの価格パフォーマンスを最適化することを目的とした幅広いコンピューティング、最大 3,200 Gbps のネットワーク、ストレージサービスを提供します。具体的には、 Perplexity では、NVIDIA A100 GPU を搭載し、分散型トレーニングに最適化された Amazon EC2 P4de インスタンスを使用して、オープンソース FM を微調整しています。

Perplexity AI ユーザーは Amazon Bedrock を通じて、AWS パートナーの Anthropic が提供する Claude 3 ファミリーのモデルからモデルを選択できます。 Claude 3 モデルは、最先端のパフォーマンスに加えて、専門知識、正確性、コンテキスト理解を備えています。「Amazon Bedrock などの高性能なサービスを利用することで、Anthropic の強力なモデルを活用でき、チームが製品の信頼性とレイテンシーを効果的に維持できるようになります」と Perplexity の Technical Team のメンバーである William Zhang 氏は述べています。

Claude は簡潔かつ自然な言葉で情報を提供するため、ユーザーは明確な回答を迅速に得ることができます。Claude 3 モデルは 200,000 トークン (約 150,000 語または 500 ページ超相当) のコンテキストウィンドウを特徴としているため、ユーザーは大規模なドキュメントを迅速にアップロードして分析することもできます。「何かを当社の製品の一部にする上で、使いやすさは不可欠です」と Zhang 氏は述べています。「Amazon Bedrock で Claude 3 を使用することは、優れたデベロッパーエクスペリエンスの一部となっています」。

Perplexity は、ハルシネーション (LLM の不正確な出力) を減らすことで、あらゆる検索結果が正確かつ有益であるようにすることを目指しています。Anthropic の以前のモデルである Claude 2.1 では、既にハルシネーションの率が半分に削減されていました。そして、Anthropic は Claude 3 ファミリーでハルシネーションの削減と精度の向上をさらに推し進め、Claude 2.1 よりも精度がさらに向上しました。Anthropic がモデルのハルシネーションをゼロにすることを目指して取り組んでいる一方で、Perplexity は人間のアノテーターを活用して、正確かつ安全で信頼できる情報をユーザーにさらに提供しています。さらに、パープレクシティは、責任ある AI に対する Anthropic と AWS の取り組みから恩恵を受けています。「Amazon Bedrock には、人々が意図しない目的で当社のソリューションを利用しようとしている場合に警告するコンテンツフィルターが組み込まれており、当社はそれを高く評価しています」と Perplexity の Cloud Infrastructure Engineer である Aarash Heydari 氏は述べています。安全性と研究を中核とする企業である Anthropic は、有害な応答を生成したり、モデルを悪用したりしようとする「脱獄」と呼ばれる試みと戦う市場リーダーです。

Perplexity は、AWS を利用したインフラストラクチャで他のモデルもファインチューニングし続けています。2023 年 8 月、Perplexity は Amazon SageMaker HyperPod の初期のベータテスターになりました。これにより、FM のトレーニング用の ML インフラストラクチャの構築と最適化に伴う差別化されていない面倒な作業が不要になります。Perplexity のエンジニアは AWS のソリューションアーキテクトと連携して、高速化された Amazon EC2 P4de インスタンスにトレーニングワークロードを自動的に分割し、それらを並列処理する画期的なスケーラブルインフラストラクチャを作成しました。Amazon SageMaker HyperPod は Amazon SageMaker の分散トレーニングライブラリで事前設定されており、パフォーマンスをさらに改善します。「トレーニングスループットの速度が 2 倍になりました」と Heydari 氏は述べています。「インフラストラクチャの管理は簡単で、ハードウェア関連の障害が大幅に減少しました」。

Perplexity が Amazon SageMaker HyperPod を使用してどのようにファンデーションモデルトレーニングを 40% 加速させたかについて詳しくは、このケーススタディをお読みください。

2か月後、PerplexityはパブリックAPIをリリースしました。これにより、ユーザーは独自のオンラインモデルであるSonar Small and Mediumにアクセスできます。これらのモデルはAWSでホストされ、Mistral 7BとMixtral 8x7Bを使用して微調整されています。これらのオンライン LLM は、時間が重要な要素となるクエリに対応するために、トレーニングデータよりもインターネットからの知識を優先します。「モデルトレーニングと推論のための当社のインフラストラクチャはすべて Amazon SageMaker HyperPod を利用しています。同サービスは、当社が AWS を選択する上で重要な要素でした」と Heydari 氏は述べています。「Amazon SageMaker HyperPod は、当社の AI イノベーションの推進に役立っています」。

Perplexity AI は、ユーザーのニーズに合った幅広いモデルを継続的に提供し、Claude の最近のイテレーションに自動的にアクセスして、ユーザーが新しい機能を使用できるようにしています。

「当社は、複雑な製品を機能させるために統合する必要があるすべてのインフラストラクチャの要素について、非常に信頼性の高いエクスペリエンスを AWS で実現しています」と Heydari 氏は述べています。「当社は最先端の AI 機能を維持し、強力なモデルを使用するとともに、ユーザーエクスペリエンスを改善するあらゆるものの可能性を検討し続けます」。