Perplexity が Amazon SageMaker HyperPod で、基盤モデルのトレーニングを 40% 高速化

関係性の高い結果よりも広告や特定のキーワードが優先されることが多い従来の検索エンジンとは異なり、Perplexity のソリューションは、ユーザーが本当に求める知識が提示されるように最適化されています。月間約 1,000 万のアクティブユーザーが Perplexity を利用して、新しい概念を学び、課題を解決し、答えを見つけています。

Perplexity の Cofounder で CEO を務める Aravind Srinivas 氏は、こう話します。「大規模言語モデルを使えば、人間の言語理解力と推論能力を 1 つのモデルにまとめられます。当社の回答エンジンは、そうしたモデルと、インターネット上にある事実をともに利用して構築したものです。「要するに、従来の検索インデックス (事実エンジン) と推論エンジン (大規模言語モデル) を連携させて、世界初の会話型回答エンジンを構築したのです」。

2022 年のリリース以来、Perplexity は、Amazon Elastic Compute Cloud (Amazon EC2) (事実上あらゆるワークロードのために、安全でサイズ変更可能なコンピューティングキャパシティを提供するサービス) などの、AWS のコアサービスを使用して、自社サービスのバックエンド、フロントエンド、検索コンポーネントを強化してきました。会社の成熟と機械学習モデル数の増加に伴い、ユーザーにサービスを提供するための大規模なコンピューティング能力が必要になりました。

AWS のエキスパートに相談後、Amazon SageMaker HyperPod (大規模分散トレーニングに特化したインフラストラクチャ) なら、大規模なモデルトレーニングの要件を満たすことがわかりました。Amazon SageMaker HyperPod には、Amazon SageMaker の分散トレーニングライブラリが事前に設定されています。これらのライブラリは、1,600 Gbps を超える相互接続速度で、高いスケーラビリティと費用対効果を実現しながら、カスタムのデータ並列およびモデル並列深層学習トレーニングジョブを実行するように最適化されています。Amazon SageMaker HyperPod を導入すると、チェックポイントの定期的な保存によって、基盤モデルトレーニングの中断を防ぐこともできます。トレーニング中にハードウェア障害が発生すると、障害が自動検出され、障害が生じたインスタンスの修復または交換の後に、最後に保存されたチェックポイントからトレーニングが再開されます。これにより、分散環境でのモデルトレーニングを数週間から数か月にわたって中断なく行えるようになります。

AWS は、分散型トレーニング機能を実証するために 1 か月間のトライアルを提供し、Perplexity は、その期間中に AWS 導入の利点を認識しました。例えば、リソース割り当ての柔軟性が向上しました。特定のタスク向けに調整されたさまざまな Amazon EC2 インスタンスと GPU を使用するからです。

機械学習モデルのトレーニングには、膨大な量のデータを処理しさまざまな勾配を保存するための、大容量のメモリが必要です。同社は、トレーニングジョブを実行し、メモリと帯域幅の要件を満たすために、Amazon EC2 P4de インスタンスを選択しました。これらのインスタンスは、機械学習トレーニングとハイパフォーマンスコンピューティングアプリケーションで極めて高いパフォーマンスを提供します。また、Amazon SageMaker HyperPod を使用して、さまざまな GPU 間でデータ転送を大幅に高速化したため、機械学習モデルのトレーニング時間を最大 40% 削減できました。

Srinivas 氏は、こう話します。「Amazon SageMaker HyperPod の組み込みデータと、モデル並列ライブラリを使用して、GPU でのトレーニング時間を最適化できたので、トレーニングのスループットが倍増しました。その結果、今では、トレーニングを 2 倍の速さで実行できています。つまり、イテレーション期間が短縮されるため、顧客向けの新しい生成 AI 体験をより迅速に開発できるのです。Amazon SageMaker HyperPod なら、クラスターの状態を自動監視して GPU の障害を修復するため、開発者がモデルの構築に集中できます。基盤となるインフラストラクチャの管理と最適化に時間を取られることはありません」。

Perplexity の目標は、ほぼリアルタイムの推論機能が必要なユーザーのクエリに、迅速かつ正確な応答を返すことです。Amazon EC2 P5 インスタンス (深層学習アプリケーション用の高性能 GPU ベースのインスタンスを利用可能) を使用すれば、以前よりもはるかに高いスループットで回答を生成できます。実際、10,000 ユーザーが同時に接続し、1 時間あたり 100,000 件を超えるクエリが発生する急増期にも処理が可能であり、レイテンシーの低下や、ユーザーエクスペリエンスへの悪影響も生じません。さらに、広く公開されている Llama 2 モデルを Amazon EC2 P5 インスタンス上でホストし、Amazon SageMaker HyperPod を使用してそのオープンソースモデルを独自データで微調整します。そうした微調整により、応答の精度と関連性が向上し、Perplexity の応答エンジン要件に沿ったモデルのカスタマイズも可能になります。

成果を踏まえ、生成 AI の新境地を開拓する準備ができた Perplexity は、将来を見据えた戦略の 1 つとして、AWS Trainium (高性能機械学習トレーニングアクセラレーター) を試し、トレーニングのスループットをさらに高めるつもりです。また、ユーザーが同社の大規模言語モデルにアクセスできるようにする API も公開しました。API は、完全に AWS で稼動させ、Amazon SageMaker HyperPod によって最適化しています。

ナレッジベースを拡大して、さらに正確な回答をユーザーに返すために、Perplexity は Amazon Bedrock も導入しました。このフルマネージドサービスを利用すると、単一の API を介して先駆的な AI 企業の高性能基盤モデルを選択できます。例えば、同社は、Amazon Bedrock を通じて Claude 2 を使用し、コーディング、数学、推論向けの高度な機能をサービスに取り入れました。

Srinivas 氏は、こう言います。「AWS で最も大きい影響力を持つのは顧客です。どのサービスを利用すべきかは顧客が決めます。『顧客にとって最良の取り組みを行うこと。自社のビジネスに最善を尽くすこと』。それが AWS チームの重要なアドバイスです。 顧客中心という AWS の考え方に、当社は大きく共感しています」。