業界タスク特化型⼤規模⾔語モデルの開発 〜 野村総合研究所様へのインタビュー 〜

みなさん、こんにちは。アマゾン ウェブ サービス (AWS) ジャパン合同会社 AI / ML 事業開発チームの近藤 祐丞です。業務への実装が進む生成 AI で汎用の大規模 LLM に加えて特定の業界やタスクに特化したモデルを開発される会社が増えてきています。

本日は、AWS ジャパンの生成 AI 実用化推進プログラムを通じて独自の大規模言語モデルを開発された野村総合研究所 (NRI) AI ソリューション推進部の岡田智靖様、大河内悠磨様に AWS 目黒オフィスに来社頂き、「業界タスク特化型 AI モデルの開発」をテーマに NRI 様が開発されたモデルの技術的な特徴や今後のビジネスへの適用構想について、AWS 生成 AI イノベーションセンターの畔柳竜生から質問させて頂きました。

業界タスク特化型モデルの開発に関して

畔柳 近年生成 AI の業界では Anthropic や OpenAI、Google、Amazon といった企業が、汎用的な大規模言語モデル (Large Language Model、LLM) の開発を行っております。その一方で 2024 年後半頃から汎用モデルに囚われない業界特化型モデルを開発されるお客様が急速に増えていると感じています。その中でも NRI 様は早い段階から特化型モデルの開発を開始されて、保険業界の営業コンプライアンスチェック試験において、商用大規模モデルを上回る正解率を実現しています。なぜ業界タスク特化型モデルが求められているのか、その開発背景を教えていただけますでしょうか？

岡田 特化型 LLM が必要な理由は大きく3つあります。

1つめの理由は専門知識への適用です。業界・業種問わず、企業が実施している業務の中には業界の専門知識が必要なものや、その企業特有のルールやスタイルで行われている業務が多いのが実状です。そういった専門知識を学習させて個別のタスクを効果的にこなすような LLM の存在が求められています。

2つめは推論コストです。特化型 LLM は初期の学習コストはかかりますが、一度できれば少ない計算量で効率的に専門業務のタスクをこなす事が可能です。専門知識をロングコンテキストや Retrieval Augmented Generation (RAG)で与えるよりも運用コストが安く収まり、Total Cost of Ownership (TCO) を削減することが期待できます。

３つめは安心・安全を考慮したコントロール性です。機密情報や個人情報が含まれるデータを SaaS の API に流すことに抵抗を感じたり、ルール上 NG としている企業は多いと考えています。加えて、専用 LLM があればモデルのバージョンが勝手に変わることがなく安定した回答が期待できます。

野村総合研究所 岡田智靖 様

畔柳 ありがとうございます。汎用モデルが学習することのできない専門知識を学習させることにより、大規模なモデルとの差別化を実現しているという事ですが、実際に業界タスク特化型モデルを開発される上で工夫された点を教えて頂けますでしょうか。

大河内 今回のモデル学習では業界知識の継続事前学習とタスク特化のファインチューニングを組み合わせた 2 段階アプローチを採用しました。学習データのデータセット作成には自動化パイプラインを構築し、特定の専門領域に関するテキストの自動収集や合成データを使ってバリエーションを拡大しました。これにより、LLM が業界特有の専門知識を獲得するとともに、実施したいタスクに適した振る舞いをするように学習することができました。

畔柳 AWS ジャパンでは生成 AI 実用化推進プログラムを通して、生成 AI のビジネス活用を目指す日本のお客様を支援しており、今年もこのプログラムへの応募を募集しています。NRI 様も金融特化型 LLM の開発の際にこのプログラムを活用していただきましたが、このプログラムを活用して良かった点や、このプログラムの活用を検討されているお客様へのアドバイスなどがあれば、ぜひお願いします。

岡田 テクニカル面とビジネス面の両方の面で、丁寧にサポートいただいたことが非常によかった点です。テクニカル面では、AWS ParallelCluster や Amazon SageMaker などの AWS のサービスや、AWS 製 AI チップの AWS Trainium と AWS Inferentia の利用にあたって重点的にサポート頂けました。ビジネス面でも、特化型 LLM をどのようなユースケースで利用するかについてのディスカッションやミートアップへの参加、様々なプロモーションの機会も頂くことができました。

畔柳 テクニカル面では私自身が所属する AWS 生成 AI イノベーションセンターからも支援に入らせて頂きました。生成 AI に特化したグローバルチームである AWS 生成 AI イノベーションセンターでは、生成 AI の本番活用を見据えた PoC やアドバイザリも実施しています。実際に生成 AI イノベーションセンターからの支援を受けた感想などがあれば教えてください。

岡田 確かな専門家の方々にサポートいただいて心強かったです。PoC として範囲を定義した形で支援いただき、サンプルコードの提供や技術的なトラブルシューティング、最終レポートの提供も含め期待以上にサポート頂くことができました。また今後さらに柔軟にサポート頂けるメニューがあると嬉しいです。

畔柳 ありがとうございます。AWS の生成 AI に関わるユニークな点として自社で AI 用アクセラレータチップを開発し、それを搭載したコンピュートリソースをお客様にサービスとして提供している事があります。昨年の re:Invent では Amazon EC2 Trn2 インスタンスの一般利用開始を発表するとともに、AWS として AI チップの開発への継続的投資を行うことを発表しています。生成 AI 実用化推進プログラムの際に NRI 様でも、Trn1 インスタンスと専用の SDK である AWS Neuron を用いた分散学習を行うことで、GPU を利用した場合と比較して 40% のコスト効率の改善ができること発表いただいています。AWS の AI チップ開発に関する取り組みについてのコメントや実際利用していただいた感想などがあれば、教えていただけると助かります。

大河内 はい、GPUと比較してコスト効率が良いのはメリットを感じています。また、AWS 内製のため、サポートが期待でき、安心できる点も大きいです。実際に利用してみてコスト効率のメリットも実感し、リソースが豊富にあるため確保しやすいメリットも感じました。

野村総合研究所 大河内悠磨 様

今後の展開とビジネス戦略

畔柳 日本では経済産業省・NEDO が GENIAC プログラムを実施する形で、国としても国産の LLM 開発を促進しています。このプログラムに採択されたお客様にも、AWS 上のコンピュートリソースを活用して LLM 開発を実施していただいております。2025 年に募集が行われた GENIAC Cycle 3 には NRI 様も採択されました。おめでとうございます。国が LLM 開発の促進を行っていることについて民間企業という観点からどのように感じていらっしゃるか、また GENIAC Cycle3 では NRI 様としてどのような開発に取り組んでいこうと考えていらっしゃるか教えて頂けますでしょうか。

岡田 国の生成AIの発展に大きく寄与することができる、素晴らしい活動だと考えています。国から認められることによって、NRI も生成 AI の開発ができる企業としてアピールすることができます。また、まとまった形で確保しにくい計算資源を確保する機会として活用することができます。

NRI としてはこれまでに開発してきた小規模の業界・タスク特化型 LLM から大きく方向性は変えませんが、規模を 10B-40B の中規模モデルに拡大して、様々な業界やタスクに適用可能な特化型モデル構築のプロセスを確立する事を計画しています。様々なモデルをベースに検証する他、タスクの種類も増やして金融業界向けの構築と検証をしたいと考えています。GENIACに採択されることによって、こういった規模を拡大した学習にもチャレンジできるようになりました。

アマゾンウェブサービス合同会社 畔柳 竜生

畔柳 今後 NRI 様が開発された業界タスク特化型モデルがどのように活用されていかれるのか、ビジネス展開を教えて頂けますでしょうか？

岡田 AI エージェントとの連携や NRI が開発した業界・タスク特化型モデルを私達が持っているお客様向けサービスの中に組み込んでいくことを計画しています。実際のお客様への業務適用が始まりつつありますが、これをどんどん進めていきたいと考えています。また今後の展望として、流通・小売や製造業、システム開発など、他の業界やタスクにも展開していきたいと考えています。

畔柳 最後になりますが生成 AI 実用化推進プログラムの最終発表会での NRI 大河内様のプレゼンテーション後の懇親会では、参加されていた多くの方々が大河内様を囲んで質問攻めにしていたのを覚えています。NRI 様として、同じように業界タスク特化型 LLM 開発を目指される開発者の方々にアドバイスなどがあればよろしくお願いします。

大河内 プログラムの懇親会では、自分達でも業界タスク特化型 LLM の学習を試したけれどもなかなかうまく行かなかったという相談が多かったです。実際に開発をしてみると様々な試行錯誤や工夫が必要なことが分かると思いますので、まずはベースモデルの選定やデータセットの設計など色々な視点で試して頂くのが良いと考えています。

今回のインタビューを実施した野村総合研究所様とAWSメンバー

執筆： 畔柳 竜生、帆足 啓一郎、飯塚 将太、近藤 祐丞、本橋 和貴、常世 大史、山上 哲史