Perplexity が Amazon Bedrock で Anthropic の Claude 3 を使用して高度な検索エンジンを構築

2022 年 12 月にリリースされた Perplexity AI は、時間の経過に伴ってユーザーの関心や好みを学習することで、コンテキストを判断し、やり取りをパーソナライズできます。各検索結果はソースのリストとともに提供されるため、ユーザーは情報の信頼性も把握できます。

Perplexity は、パブリック API サービスの提供を開始して以来、Amazon SageMaker を利用しています。Amazon SageMaker は、事実上あらゆるユースケースに対応する高性能で低コストの機械学習 (ML) 用の幅広いツールをまとめたフルマネージドサービスです。複数のクラウドプロバイダーを評価した後、Perplexity は、Amazon Bedrock の利用を補完することを目的として、モデルのトレーニングと推論のために AWS を選択しました。「AWS を利用することで、GPU にアクセスでき、プロアクティブな AWS チームの技術的な専門知識から恩恵を受けることができました」と Perplexity の Chief Technology Officer である Denis Yarats 氏は述べています。同社は、幅広いコンピューティング、最大 3,200 Gbps のネットワーキング、ML プロジェクトの料金パフォーマンスを最適化するために特別に構築されたストレージサービスを提供する Amazon Elastic Compute Cloud (Amazon EC2) のインスタンスタイプをテストしました。具体的には、Perplexity は、NVIDIA A100 GPU を搭載し、分散トレーニング用に最適化された Amazon EC2 P4de インスタンスを使用して、オープンソース FM をファインチューニングしています。

Perplexity AI ユーザーは、Amazon Bedrock を通じて、AWS パートナーである Anthropic の Claude 3 モデルファミリーからモデルを選択できます。Claude 3 モデルは、最先端のパフォーマンスに加えて、専門知識、正確性、コンテキスト理解を備えています。「Amazon Bedrock などの高性能なサービスを利用することで、Anthropic の強力なモデルを活用でき、チームが製品の信頼性とレイテンシーを効果的に維持できるようになります」と Perplexity の Technical Team のメンバーである William Zhang 氏は述べています。

Claude は簡潔かつ自然な言葉で情報を提供するため、ユーザーは明確な回答を迅速に得ることができます。Claude 3 モデルは 200,000 トークン (約 150,000 語または 500 ページ超相当) のコンテキストウィンドウを特徴としているため、ユーザーは大規模なドキュメントを迅速にアップロードして分析することもできます。「何かを当社の製品の一部にする上で、使いやすさは不可欠です」と Zhang 氏は述べています。「Amazon Bedrock で Claude 3 を使用することは、優れたデベロッパーエクスペリエンスの一部となっています」。

Perplexity は、ハルシネーション (LLM の不正確な出力) を減らすことで、あらゆる検索結果が正確かつ有益であるようにすることを目指しています。Anthropic の以前のモデルである Claude 2.1 では、既にハルシネーションの率が半分に削減されていました。そして、Anthropic は Claude 3 ファミリーでハルシネーションの削減と精度の向上をさらに推し進め、Claude 2.1 よりも精度がさらに向上しました。Anthropic がモデルのハルシネーションをゼロにすることを目指して取り組んでいる一方で、Perplexity は人間のアノテーターを活用して、正確かつ安全で信頼できる情報をユーザーにさらに提供しています。さらに、Perplexity は Anthropic と AWS の責任ある AIへのコミットメントから恩恵を享受しています。「Amazon Bedrock には、人々が意図しない目的で当社のソリューションを利用しようとしている場合に警告するコンテンツフィルターが組み込まれており、当社はそれを高く評価しています」と Perplexity の クラウドインフラストラクチャエンジニアである Aarash Heydari 氏は述べています。安全性と研究を中核とする企業である Anthropic は、有害な応答を生成したり、モデルを悪用したりしようとする「脱獄」と呼ばれる試みと戦う市場リーダーです。

Perplexity は、AWS を利用したインフラストラクチャで他のモデルもファインチューニングし続けています。2023 年 8 月、Perplexity は Amazon SageMaker HyperPod の早期ベータテスターになりました。Amazon SageMaker HyperPod は、FM のトレーニング用の ML インフラストラクチャの構築と最適化に伴う、差別化につながらない手間のかかる作業を排除します。Perplexity のエンジニアは AWS のソリューションアーキテクトと連携して、高速化された Amazon EC2 P4de インスタンスにトレーニングワークロードを自動的に分割し、それらを並列処理する画期的なスケーラブルインフラストラクチャを作成しました。Amazon SageMaker HyperPod は Amazon SageMaker の分散トレーニングライブラリで事前設定されており、パフォーマンスをさらに改善します。「トレーニングスループットの速度が 2 倍になりました」と Heydari 氏は述べています。「インフラストラクチャの管理は簡単で、ハードウェア関連の障害が大幅に減少しました」。

Perplexity が Amazon SageMaker HyperPod を利用して基盤モデルのトレーニングを 40% 高速化した方法の詳細については、この導入事例をお読みください。

2 か月後、Perplexity は、自社の専有オンラインモデルである Sonar Small と Medium にユーザーがアクセスできるようにパブリック API をリリースしました。これらのモデルは AWS でホストされており、Mistral 7B と Mixtral 8x7B を使用してファインチューニングされています。これらのオンライン LLM は、時間が重要な要素となるクエリに対応するために、トレーニングデータよりもインターネットからの知識を優先します。「モデルトレーニングと推論のための当社のインフラストラクチャはすべて Amazon SageMaker HyperPod を利用しています。同サービスは、当社が AWS を選択する上で重要な要素でした」と Heydari 氏は述べています。「Amazon SageMaker HyperPod は、当社の AI イノベーションの推進に役立っています」。