Boosted.ai の生成 AI ポートフォリオマネージャーが AWS を利用してほぼ瞬時に財務インサイトを提供

Boosted.ai は、ニーズに対して過度に広範で扱いにくい汎用 LLM から、ドメイン (資本市場) に合わせてカスタマイズされたモデルに切り替えることで、コストを 90% 削減し、効率を大幅に高め、生成 AI 投資管理アプリケーションのスケールに必要な GPU キャパシティを確保できました。

概要

2020 年、Boosted.ai は、150,000 のソースからのデータを処理する大規模言語モデル (LLM) 上にアセットマネージャー向けの AI ポートフォリオアシスタントを構築することで、人工知能 (AI) を活用した金融分析プラットフォームである Boosted Insights を拡張しました。その結果、世界中のあらゆる株式市場 (北米、EU および英国、APAC、中東、ラテンアメリカ、インド) の 60,000 を超える株式に関するマクロインサイトと市場動向分析を得ることができました。しかし、LLM の使用には、高額な年間運用コストや、スケール能力を制限する GPU キャパシティ制限など、いくつかの大きな欠点がありました。

Boosted.ai は、AWS で実行されるモデルのドメイン最適化を開始し、次の成果を実現しました。

• 質を犠牲にすることなくコストを 90% 削減
• 一晩かかっていた更新をほぼリアルタイムの更新に移行し、数十万のデータソースで動作する投資マネージャーのクライアントのためにさらなる価値を実現
• ワークロードを LLM クラウドで実行するのではなく、顧客のプライベートクラウドでモデルを実行できる能力により、セキュリティを強化し、パーソナライゼーションを改善

概要

2023 年は、生成 AI が主流となった年でした。効率を高めて、より少ないリソースでより多くの成果を上げることは、2024 年以降も企業の課題であり続けることでしょう。チームが生成 AI を組み込んで生産性を高める方法について戦略を立てることは非常に重要です。しかし、明確なユースケースがある場合でも、ビジネスの収益にとって有意義な態様で生成 AI を実装する方法が必ずしも明らかであるとは限りません。

以下では、Boosted.ai が生成 AI を組み込んで投資管理会社であるクライアントの調査タスクを自動化し、Boosted.ai と顧客の両方の成果を改善した方法をご紹介します。

2017 年に設立された Boosted.ai は、アセットマネージャーがデータを整理して効率を高め、ポートフォリオメトリクスを改善し、データ駆動型のより優れた意思決定を行うのに役立つ AI および機械学習 (ML) プラットフォームである Boosted Insights を提供しています。強力な LLM がもたらす影響を目の当たりにした創業者たちは、クローズドソースの LLM を利用して AI を利用したポートフォリオ管理アシスタントを構築することにしました。このアシスタントは、10K や 10Q などの SEC 提出書類、収支報告、業界出版物、国際ニュース、現地のニュース、さらにはファッションなど、非従来的なデータセットを含む 150,000 件のソースからの数百万のドキュメントを一夜にして処理します。言うなれば、Shein のような企業の株式公開については、Vogue の記事が関連する投資情報の 1 つとなる可能性があります。Boosted Insights は、アセットマネージャーのクライアントが自分で整理できるように、このすべての情報を要約して、インタラクティブなユーザーインターフェイスにまとめました。

Boosted.ai は、新しい生成 AI モデルを使用して、180 社超の世界最大級のアセットマネージャーを含むすべてのクライアントに重要な投資情報を提供するようになりました。これらのチームにとって、「時は金なり」です。何かが企業の株価に影響を与える場合、その情報をどれだけ早く入手して行動するかによって、数千 USD、場合によっては数百万 USD の違いが生じる可能性があります。Boosted.ai はこれらのマネージャーに優位性をもたらしました。例えば、Boosted Insights はインドのメディアの記事を情報として取り入れていたため、Apple が製造能力の一部をインドに移転しようとしていることについて、主要メディアで報道される前にフラグを立てることができました。

Boosted Insights に生成 AI コンポーネントを追加することで、調査の多くを自動化し、投資に関する仮説を実際の取引で生かすことができました。例えば、投資家が中国との貿易戦争を懸念している場合、Boosted Insights に「どのような種類の株を購入または売却すべきか」とたずねることができます。生成 AI が登場する前は、その質問に答えるには 40 時間の調査プロセスが必要で、何百ページものアナリストレポート、ニュース記事、決算短信を精査する必要がありました。AI を活用したポートフォリオ管理アシスタントにより、その作業の 80% が自動化されました。

ドメイン固有の言語モデルを使用して、スケールを実現するために解決

Boosted.ai の生成 AI のロールアウトはクライアントから非常に好評でしたが、同社はそれをスケールして最大 5 倍または 10 倍の分析を実行し、入手するまでに一晩かかるレポートから、真のリアルタイムシステムに移行したいと考えていました。しかし、問題がありました。すなわち、AI を実行するには年間 100 万 USD 近くの料金がかかり、GPU キャパシティを増やしたくても、単純に購入することができなかったのです。AI 財務分析ツールをリアルタイムアプリケーションにスケールするための GPU キャパシティが不足していました。

コストを削減し、スケールを拡大するために、モデルのサイズを適切に設定

Boosted.ai の課題は、LLM と生成 AI を導入しようとしている組織にとってますます一般的なものになっています。LLM は汎用的に使用できるようにトレーニングされているため、これらのモデルをトレーニングする企業は、モデルを機能させるために多くの時間、テスト、費用を費やしています。モデルが大きいほど、あらゆるリクエストで使用しなければならないアクセラレーテッドコンピューティングが増えます。その結果、Boosted.ai を含むほとんどの組織では、特定のタスクに LLM を利用することは現実的ではありません。

Boosted.ai は、よりターゲットを絞ったコスト効率の高いアプローチ、すなわち、特定のタスクを実行するために小規模な言語モデルを微調整するアプローチを検討することにしました。AI/ML の世界では、これらのモデルは「オープンソース」と呼ばれることがよくありますが、これは、オープンソースコーディングの黎明期から想像されるような、wiki を共有するランダムな人々による寄せ集めのようなモデルであることを意味しません。代わりに、Meta の Llama 2 などのオープンソース言語モデルは、数兆のデータポイントでトレーニングされ、Amazon Bedrock などの安全な環境で維持されます。違いは、オープンソースモデルでは、ユーザーがパラメータに完全にアクセスでき、特定のタスクに合わせて微調整できるオプションを利用できるということです。対照的に、クローズドソースの LLM はブラックボックスであり、Boosted.ai が作成する必要のある種類のカスタマイズは許可されません。

モデルを微調整できることは、Boosted.ai にとって大きな違いをもたらすでしょう。Boosted.ai は、AWS パートナーネットワークを通じて Invisible とつながりました。Invisible の AI トレーニングのスペシャリストのグローバルネットワークを利用することで、Boosted.ai は中核的な開発作業に注力でき、Invisible は、社内チームをプロジェクトに配置するよりも迅速かつコスト効率よく、質の高いデータアノテーションを提供してくれました。AWS、Invisible、および Boosted.ai は協力して、ユースケースに対応できる、可能な限り小さなモデルを見つけて実装し、業界標準の Massive Multitask Language Understanding (MMLU) データセットに照らしてベンチマーキングを実行し、パフォーマンスを評価しました。

「当社の目標は、タスクのために可能な限り最小のモデルで、可能な限り最高の IQ を実現することでした。MMLU について考慮し、Boosted.ai の業務に非常に関連していると思われるサブタスク (ミクロ経済学、マクロ経済学、数学など) を検討しました。機能すると思われるモデルのうち、最小のモデルを選択し、当社のタスクに最適なものになるように調整しました。それでもうまくいかない場合は、次のサイズのモデルと次のレベルのインテリジェンスに移行しました」。

– Joshua Pantony, Boosted.ai co-founder and CEO

財務分析で同等のパフォーマンスを発揮する、よりコンパクトで効率的なモデルにより、Boosted.ai はコストを 90% 削減しました。この効率化により、プルするデータの量を大幅に増やし、一晩かかっていた更新をほぼリアルタイムで実行できるという、大きな利点が得られました。さらに重要なこととして、スケールに必要な GPU を利用できるようになりました。Boosted.ai はかつてモデルを実行するために A100 と H100 を必要としていましたが、このより効率的なドメイン固有の生成 AI により、より小さく利用しやすいハードウェアでレイヤーを実行できるようになりました。

より小さなモデルでセキュリティを強化し、カスタマイズを改善

同じ性能を発揮するより小さなモデルを微調整することで、Boosted.ai はさらに多くの分析を実行するための計算能力を獲得しました。今では、データを一晩かけて処理するのではなく、1 分ごとにデータを処理して、何かが起きてから Boosted Insights がそれを認識するまでの遅延がわずか 5～10 分であることを顧客に約束できます。

また、このモデルは、デプロイする場所と方法についてのより広い選択肢を Boosted.ai に提供しました。従来、Boosted.ai は LLM を使用して、ワークロードをクローズドソースのクラウドに送信し、結果を取得して保存していました。現在では、セキュリティを強化するために、AWS 上の別の顧客の仮想プライベートクラウド (VPC) 内にデプロイできます。

「2024 年には、投資管理会社にとって生成 AI 戦略を持つことが基本的な期待事項になるでしょう。また、当社は、スマートエージェントを作成するために、社内データを当社の生成 AI で実行したいという企業からの大きな需要を見込んでいます。当然のことながら、独自のデータを活用するとプライバシーに関する懸念が生じます。多くのユーザーは、大規模なクローズドソースの LLM よりも当社のモデルの方が安全だと感じています。当社のクライアントの 90% は AWS アカウントを持っており、同じクラウド上で実行することで、プライベート AWS クラウド内でデータを安全に保つことが非常にシンプルになるという利点が得られています」

「データを実行するプライベートデプロイへのアクセスを付与することは、すべてをゼロから構築しようとするよりもはるかに簡単です」

– Joshua Pantony

プライベートエンドポイントがもたらしてくれる安心感により、より多くの顧客が安心して独自のデータを共有し、よりカスタマイズされたインサイトを作成しています。例えば、ヘッジファンドは、何百人もの CFO や経営アナリストとのインタビューにアクセスできる場合があります。そのデータセットの価値と機密性は極めて高く、パブリック API エンドポイントに送信することはできません。Boosted.ai のドメイン固有のアプローチでは、その必要はありません。ワークロード全体が顧客のクラウド内で実行され、よりカスタマイズされたインサイトを得ることができるのです。

未来: ドメイン固有の言語モデルと、専門知識を活用する新しい方法

Boosted.ai の微調整された小規模言語モデルが成長するにつれて、提供されるインサイトはより明確になり、より定量化されます。例えば、現在はウクライナでの戦争などの事由によってどの企業が影響を受けるのかを提示できます。将来的には、その影響を定量化して、「正確にはこの会社の収益の 7% が影響を受け、影響を受ける確率は次のとおりです」と述べることができるようになります。

さらに、これらのインサイトを得るために必要なユーザー操作が少なくなります。パーソナライズされた AI に専門知識や情報をアップロードし、膨大な情報データベースをスキャンさせて、ユニークなアイデアを提案してもらうことも可能になります。

AI は人類史上でも極めて急速に導入されているテクノロジーであり、小規模な組織にとって、今日の最先端のユースケースは、わずか数年で当たり前のものになるでしょう。

「このテクノロジーの可能性を認識しておらず、最適とは言えない方法で導入しようとしている大企業が数多く存在する、歴史上非常にユニークな時代に私たちは生きています。あちこちで大量のチャットボットが登場しています。今日のスタートアップは、顧客と会ってその問題を知り、生成 AI の能力を把握すべきです。そうすれば、独自の付加価値を見つけられる可能性が非常に高くなります」

「プロダクトマーケットフィットがある程度確立されたと確信できたら、LLM と比較しながら、速度、精度、データ感度の面で小規模なモデルを微調整することを検討します。これらのいずれかがユースケースにとって重要だと思われる場合は、ドメイン固有のモデルを使用する価値があるでしょう」

– Joshua Pantony

このプロジェクトと記事に貢献してくれた Invisible にも感謝します。Invisible は、AI とオートメーションを、熟練した人間のワークフォースとシームレスに統合し、戦略的な実行のボトルネックを解消するオペレーションイノベーション企業です。