Amazon Web Services ブログ

基盤モデル開発に挑む各社が成果を共有。AWS LLM 開発支援プログラム 成果発表会

アマゾン ウェブ サービス ジャパン（以下、AWS ジャパン）は 2023 年 7 月 3 日に、日本独自の施策として国内に法人または拠点を持つ企業・団体の生成 AI 基盤モデル・大規模言語モデル（以下、LLM）の開発を支援する AWS LLM 開発支援プログラムを発表しました。

本プログラムでは、LLM 開発を行うための計算機リソース確保に関するガイダンスや AWS 上での LLM 事前学習に関わる技術的なメンタリング、LLM 事前学習用クレジット、ビジネス支援などのサポートを提供します。

そして 2024 年 1 月 31 日に、本プログラムにおける支援対象の企業・団体が集まり成果を共有する、AWS LLM 開発支援プログラム 成果発表会が開催されました。ここではそのレポートをダイジェスト形式でお届けします。

ご挨拶

AWS ジャパン 執行役員 デジタルサービス事業統括本部 統括本部長 佐藤 有紀子

イベント冒頭では、AWS ジャパン 執行役員 デジタルサービス事業統括本部 統括本部長 佐藤 有紀子より開会のご挨拶をしました。AWS LLM 開発支援プログラムは 2023 年 7 月に開始し、これまで中間報告会や AWS ジャパンと各企業・団体とのさまざまなコミュニケーションを経たうえで今回のイベントに至りました。佐藤は本プログラムのエグゼクティブスポンサーとして、企画の段階から関わっております。

「私たちが企業・団体のみなさまとともに目指したのは、日本の生成 AI のイノベーションの加速です。日本のビジネスや言語環境、企業の状況に合った LLM が求められていると考えて、AWS LLM 開発支援プログラムを立ち上げました」と佐藤は語りました。

日本における生成 AI の利活用が本格的になっていく中で、LLM はより重要な位置付けになっていくと考えます。「プログラム実行委員から、本プログラムに関する学びをみなさまに共有させていただきたく存じます」と結びました。

AWS LLM 開発支援プログラム Program Results

AWS LLM 開発支援プログラム 実行委員 宇都宮 聖子

次に、AWS LLM 開発支援プログラム 実行委員の宇都宮 聖子が登壇。本プログラムで得られた成果について、ショートサマリーをお話ししました。本プログラムでは 2023 年 7 月のプログラムローンチ以降、成果発表会まで約半年の期間で 17 社という多くの企業・団体にご参画いただきました。

セッション内で、宇都宮は多くの開発者の方々にご利用いただいた AI アクセラレーター AWS Trainium をタイムリーにサポートする AWS Neuron SDK の変遷についても言及。本支援プログラムの開始以降、AWS Neuron SDK はこのプログラムでの LLM 開発を強力にサポートすべく、2023 年 12 月までの間に多くのソフトウエアアップデートが行われたことを解説しました。

また、サービスの利用方法について実践形式で学ぶ Prototyping Camp を開催するなど、AWS ジャパンでは企業・団体の方々に効率良く開発を進めていただくための技術支援も行ってきました。2023 年 11 月には、プログラムの中間報告会にて、LLM 開発を国内でリードする技術者同士で、LLM開発の技術的な難しさやビジネス化への課題について、パネルディスカッション等を通じて技術交流を行いました。そして、2023 年 9 月以降にはプログラム参画企業合計 9 社より報道発表がリリースされました。

成果発表 Part1

ここからは、各社による成果発表がスタート。Part1 では、NTT人間情報研究所とストックマーク株式会社、株式会社リコーの 3 社が登壇しました。

NTT人間情報研究所

NTT人間情報研究所 上席研究員 西田 京介 氏

まずは NTT人間情報研究所 上席研究員 西田 京介 氏による発表。NTT グループは IOWN（Innovative Optical and Wireless Network）技術を中心として、サステナブルな社会の実現に取り組んでいます。大量の計算機資源を必要とする大きな AI ではなく、専門性や個性を持った小さな AI の集合知による社会課題解決を目指し、小型で性能の良い LLM「tsuzumi」の研究開発を行っています。

メディカル領域やソフトウエア開発といった、ドキュメント内に専門用語や業界特有の表現が多く含まれる領域においては、既存の汎用 AI では十分な性能を発揮しないケースがあります。「tsuzumi-7B」は Rakuda ベンチマークにおいて、こうした業界特有のデータに対してもカスタマイズが可能であるため、AI を活用する領域を広げることができます。

また、顧客サポート領域では顧客体験向上のために、図表などのマニュアル類の読解と顧客情報の解析によるパーソナライズが不可欠です。「tsuzumi」は世界トップクラスの日本語処理能力を有しており、かつ図表読解も可能なため、コンタクトセンターや相談チャットボットといった顧客サポート領域での活用に向いています。

プログラムの中で得られたベネフィットとして、Amazon EC2 P5 インスタンスの利用により最新の NVIDIA H100 Tensor Core GPU 96基を迅速に調達できたこと、Elastic Fabric Adapter (EFA) の高速なノード間通信による高速・高効率な学習が行えたこと、LLM 学習ライブラリを AWS 上で技術検証することによりスムーズな環境移行を行えたこと、GPU クラスタ構築・運用のための技術支援を受けられたこと、などを紹介されていました。

ストックマーク株式会社

ストックマーク株式会社 共同創業者 CTO 有馬 幸介 氏（写真左）、VP of Research 近江 崇宏 氏（写真右）

次に登壇したのはストックマーク株式会社 共同創業者 CTO 有馬 幸介 氏とVP of Research 近江 崇宏 氏。有馬 氏は同社が LLM の自社開発を行う理由として「産業界では、ChatGPT よりもさらにハルシネーション（誤情報の出力）が抑止された信頼性の高い LLM が求められている」というモチベーションを語りました。

ハルシネーション抑止は LLM の知識量にも大きく依存します。グローバルでよく利用される LLM では学習データの 0.1% 程度しか日本語が含まれておらず、とりわけ日本国内のビジネス系知識に不足があるといいます。ストックマーク社はその品質ではエンタープライズサーチや素材・技術用途探索などのアプリケーションで顧客のニーズに応えきれないと判断し、自社開発を決意しました。

近江 氏は AWS LLM 開発支援プログラムにおける具体的な検証内容や成果などを発表。実用的なビジネス領域に対応するため、公開データだけでなくビジネスドメインの独自 Web コーパスや特許のデータを含めた、合計 2,200 億トークン日本語テキストデータを使用し、130 億パラメータ LLM をゼロから学習させたことなどを説明しました。

今回ストックマーク社は AWS Trainium を搭載した EC2 Trn1 インスタンスを用いて独自 LLM の開発を行いました。その際、trn1.32xlarge を 16 インスタンス用いることで、約 30 日といった短期間で迅速に開発が行えたといいます。また、開発した Stockmark-13b を自社サービスへ導入するため、AWS Inferentia2 による推論も検証を進めています。

株式会社リコー

株式会社リコー デジタル戦略部 デジタル技術開発センター 副所長 鈴木 剛 氏

次に株式会社リコー デジタル戦略部 デジタル技術開発センター 副所長 鈴木 剛 氏が登壇。セッション冒頭で、英語 LLM に比べて日本語 LLM の開発が遅れているという見方について触れ、産業で使い倒せる LLM を作る、すなわち、ビジネスで使える十分な品質の文章を生成できる LLM を作ることを目指して日英バイリンガル LLM を開発したことを説明しました。

リコーが重視したのは、データの質と量、そして学習戦略をいかに組み上げるかという観点です。モデルのアーキテクチャは日進月歩で新しいものが出ていますが、学習戦略やデータは企業の開発技術として注力すべきであるとし、カリキュラム学習戦略の例をご紹介頂きました。英語で学習された Llama 2 13B Chat の初期重みに、はじめから難易度の高い日本語データを多く入れても、忘却効果が出てしまいうまく学習が進みません。そのため、初期段階では英語を多く混ぜ、続いて多量低品質な英語・日本語データを投入し、最後は頑健な推論性能の底上げを狙うために高品質な日本語データを学習させるという戦略をとりました。

計算環境は Amazon EC2 Trn1 インスタンスを利用。プログラムの支援により調達した 64 インスタンスの trn1.32xlarge (1,024 Trainium チップ、2,048 Neuron コア) により、大規模な分散学習を行いました。これだけ大規模な学習になるとノード不良が避けられませんが、AWS の技術メンバーが密に並走することにより迅速な復旧が可能だったといいます。また、復旧のため実装されたノード不良検知・自動ジョブ再投入などの機能を SDK として公開するといった改善プロセスに関しても信頼と感謝の言葉を頂きました。

日本語ベンチマークツール llm-jp-eval を用いた130億パラメータ LLM との性能比較では、産業応用で重要となる論理的な推論性能に関して良好な結果を得られたといいます。今後も、本プログラムで開発した130億パラメータモデルのカスタマイズや、700億パラメータ規模のさらなる大規模モデルの開発に取り組んでいく展望を述べました。

成果発表 Part2

プログラムの後半パートでは、以下の企業が成果発表を行いました。

株式会社サイバーエージェント（左上）、Sparticle株式会社（右上）、カラクリ株式会社（左下）、株式会社Poetics（右下）

株式会社サイバーエージェント AI事業本部 極LP/基盤モデル事業部 石上 亮介 氏

●  AWS Trainium による LLM 開発の技術・次世代アーキテクチャ検証。学習データに含まれる日本語・英語の割合を変えた性能や、Grouped Query Attention (GQA) への拡張。RetNet や Sparse Mixture of Experts (MoE) などのアーキテクチャ検証。

Sparticle株式会社 執行役員 藤井 秀樹 氏

●  音声認識に加えて視覚情報を含めたマルチモーダル AI 開発を目指す。本プログラムでは独自 LLM により高い日本語性能を達成。自律型エージェントの実現も視野に入れる。

カラクリ株式会社 取締役 CPO 中山 智文 氏

●  カスタマーサポート領域での AI Chat 提供。Llama 2 70B をベースとした事前学習とファインチューニングを、独自収集カスタマーサポートコーパスを含むデータで実施。Japanese MT-Bench において日本語モデルの中で最高性能。

株式会社Poetics AIエンジニア・NLPリサーチャー 河東 宗祐 氏

●  オンライン商談解析サービス Jamroll を提供。自動音声書き起こし (Automatic Speech Recognition; ASR) 話し言葉データを用いた、対話に特化した LLM の開発。4台の trn1.32xlarge を用いて、NeuronX Distributed による分散学習で Llama 2 7B を継続事前学習。

株式会社松尾研究所（左上）、株式会社リクルート（右上）、株式会社わたしは（左下）、株式会社Lightblue（右下）

株式会社松尾研究所 リサーチエンジニア　松島 創一郎 氏

●  東京大学大学院工学系研究科松尾研究室とビジョンを共有しながら先端技術の社会実装を行なっており、本プログラムではリテール業界や旅行業界などに向けた LLM を用いた推薦システムに取り組んだ。推薦候補をユーザーに提示する前にリランキングを行う LLM を開発。旅行・予約サイトのデータを用いて、ELYZA-japanese-Llama-2-7b をベースに学習。

株式会社リクルート データ推進室 桐生 佳介 氏

●  リクルートが提供する顧客・クライアントの接点を作るプロダクトにおいて、労働人口減少に伴うスケーラビリティに課題があり、ビジネスドメイン特化の LLM でユーザー体験の向上を見込む。ELYZA-japanese-Llama-2-7b-fast と Llama-2-13b-chat-hf に対して、オープンデータと自社コーパスを用いて継続学習と Instruction Turing を実施し、継続事前学習を施した自社モデルで QA 回答と文章要約の性能向上を確認。AWS Trainium の使用感として良かった点で、インスタンス確保が柔軟であったことと AWS ParallelCluster による分散学習環境構築の容易さが挙げられた。

株式会社わたしは CTO 小橋 洋平 氏

●  ユーモアを志向し、ズレた会話を扱える基盤モデルの開発と、大喜利 AI など目的に応じたチューニングを実施。EC2 trn1.32xlarge を 4 インスタンス用いた分散学習で Llama 2 13B に対して継続事前学習を行い、ファインチューニングと DPO により大喜利 AI を構築。このモデルによる日本語・英語での大喜利性能について、いくつか例が紹介された。

株式会社Lightblue 取締役 谷口 俊一 氏

●  特定業務・タスク特化の LLM を志向し、推論コストにおける優位性も期待できる小規模軽量 LLM を開発。TinyLlama-1.1B をベースモデルとし、独自日本語コーパスを用いた AWS Trainium での継続事前学習により Karasu-1.1B を開発。AWS VPN や AWS Direct Connect (専用線接続) などの閉域網での提供を検討。

Turing株式会社（左上）、株式会社ユビタス（右上）、rinna株式会社（左下）、株式会社Preferred Networks（右下）

Turing株式会社 Director of AI 山口 祐 氏

●  完全自動運転を目指し、運転時の外部情報として LLM に視覚を与える学習フレームワーク Heron を開発。NVIDIA H100 GPU を搭載した EC2 p5.48xlarge インスタンスにより、画像 + LLM の 70.3B マルチモーダル基盤モデルのフルパラメータファインチューニングを実施。また、自動運転用データセットの生成・評価にも p5.48xlarge インスタンスを活用。

株式会社ユビタス 大畑 浩司 氏

●  エンターテイメント (ゲーム・アニメ・映画) や観光・レジャーに特化した LLM や Graph Diffusion Model を開発。国立台湾大学との共同研究による台湾 LLM 13B (Taiwan-LLM-13B-v2.0-base) の開発・公開や、ユビちゃん (ゲーム攻略アシスタントなどに使われる AI キャラクター) の開発で AWS を活用。

rinna株式会社 Research and Data Manager 沢田 慶 氏

●  中国語・英語を主データとして学習された Qwen モデルをベースに継続事前学習。Nekomata 14B は Qwen 14B に対して 66B トークンの日本語データで継続事前学習、EC2 trn1.32xlarge で 16インスタンス約6.5日、オンデマンド価格で800万円ほど、LLM プログラムの支援をうけ実施。SFT による対話応答や 4bit 量子化版も含め 7B, 14B モデルを公開。

株式会社Preferred Networks Karim Hamzaoui 氏

●  本プログラムでは画像のモダリティを扱える汎用的な視覚基盤モデルを開発。画像タスクの学習には大容量メモリを必要とするため、NVIDIA H100 Tensor Core GPU (80 GB GPU メモリ) を搭載した EC2 p5.48xlarge インスタンスを活用し複数タスクの表現方法、タスクの学習順番・バランス、言語と画像のアラインメントの効率化などに取り組んだ。今後も本プログラムで確立した開発手法を踏まえ、100B/1T パラメータからなる PLaMo をベースとしたマルチモーダル基盤モデルの開発を推進。

ご講評

経済産業省 商務情報政策局 情報産業課 ソフトウエア・情報サービス戦略室長 渡辺 琢也 氏（写真左）

経済産業省 商務情報政策局 情報産業課企画官 小川 宏高 氏（写真右）

各社による成果発表の後、経済産業省 商務情報政策局 情報産業課 ソフトウエア・情報サービス戦略室長の渡辺 琢也 氏がコメントをしました。近年、LLM は大きな注目を集めています。渡辺 氏は、これまでの人類の歴史のなかで自動車やパソコン、スマホといった人間の能力をエンパワーメントするような技術がイノベーションを起こしてきたことについて触れ「間違いなく、LLM は次のイノベーションを起こす可能性を秘めた技術です。だからこそ世界中で注目されているのでしょう」と述べました。

そして、今後の日本で発生する労働者不足の課題を解決するうえでも、LLM を活用して生産性を向上させることが重要であると言及。「計算資源をはじめとしたインフラの確保や、開発者同士やユーザーとのネットワーキング構築の機会の創出、イノベーションを阻害しないルールの創設は政府の責務だと思っております」と語りました。

続いて、経済産業省 商務情報政策局 情報産業課企画官 小川 宏高 氏は登壇した各社のプレゼンテーションを講評。スクラッチでのモデル開発や継続事前学習、ファインチューニング、各種の技術検証など、各社がそれぞれの強みを活かして研究・開発を行っていることに対して「みなさまの技術力の高さに、大変心強い思いをしております」と総括しました。

ご挨拶

AWS ジャパン 代表執行役員社長 長崎 忠雄

イベント最終盤では、AWS ジャパン 代表執行役員社長 長崎 忠雄がご挨拶をしました。お集まりいただいた関係者の方々に感謝の言葉を伝えたうえで「本日で AWS LLM 開発支援プログラムは終了しますが、LLM の開発はこれで終わりではありません。技術の社会実装が肝であるため、私たち AWS は引き続き各企業・団体を支援していきます」と述べました。

そのうえで、「LLM の社会実装ができるようになれば、それがひいては日本の国力の向上につながります。私たち AWS が、日本そのものの進歩に貢献できればと思っております」と結びました。