Amazon SageMaker JumpStart で ELYZA の日本語 LLM をワンクリックデプロイ

生成 AI アプリケーションの構築には、適切な日本語大規模言語モデル (LLM) の選定と活用が不可欠です。AWS では Amazon Bedrock, Amazon SageMaker JumpStart, AWS Marketplace でさまざまな基盤モデル (Foundation Model; FM) および大規模言語モデル (Large Language Model; LLM) を提供しています。最近、日本のスタートアップ企業である ELYZA の日本語 LLM が SageMaker JumpStart に掲載され、AWS 環境へワンクリックで簡単にデプロイできるようになりました。

今回、ELYZA Japanese Llama 2 7B の 2つのモデルが SageMaker JumpStart で公開されました。JumpStart に掲載された ELYZA-japanese-Llama-2-7b-chat, ELYZA-japanese-Llama-2-7b-fast-chat いずれも Meta Llama 2 をベースとし、OSCAR や Wikipedia といった日本語コーパスを用いて継続事前学習を行っています。さらに、ELYZA の高品質データを用いた事後学習 (ファインチューニング) が施されています。後者の ELYZA-japanese-Llama-2-7b-fast-chat モデルでは日本語の語彙を取り込むことで辞書を拡張しており、日本語テキスト内のトークン数を 55% 削減、生成速度が 1.82 倍に向上しています。これらのモデルは独自データ ELYZA Tasks 100 によっても評価され、当初モデルがアナウンスされた2023年8月時点では日本語モデルの中でも高い性能を示していました。なお、モデルの性能評価など詳細についてはモデル公開時のブログをご参照ください。

ELYZA はその後も、Llama 2 ベースで 13B モデルの公開 [Announcement, Hugging Face] と、70B モデルの発表・デモ公開 [Announcement, Demo] を行いました。Llama 2 ベースのモデルは Amazon EC2 Inf2 インスタンスを活用してコスト・パフォーマンス良く推論することが可能で [Blog]、特に ELYZA Llama 2 70B で Speculative Decoding という高速化手法を用いた Inf2 上での推論が技術ブログで解説されています [Blog]。現在 AWS 上では、SageMaker を用いたデプロイの他に、Meta Llama 2 などのアーキテクチャをベースとした公開済みのモデルを Amazon Bedrock に取り込む Custom Model Import (preview) [Docs] という機能も提供されています。このように、様々な方法で ELYZA のモデルを活用することができます。

SageMaker JumpStart でのデプロイ方法は、すでに JumpStart に掲載されいてる rinna, CyberAgent や Stability AI による日本語 LLM の手順を参照してください。

追記: 2024年7月30日時点で、同じく ELYZA Japanese Llama2 13B も SageMaker JumpStart に掲載されています。

著者について

針原 佳貴 (Yoshitaka Haribara) は AWS Japan のスタートアップソリューションアーキテクトです。最近は生成 AI 基盤モデル・大規模言語モデル開発などのワークロードを中心に担当しています。趣味はドラムです。

久保 隆宏 (Takahiro Kubo) は AWS Japan の機械学習領域のデベロッパーリレーションを担当しており、「機械学習をするなら AWS 」と感じて頂くべくコンテンツの作成とフィードバックの収集による AWS サービスの改善を行っています。