Amazon Web Services ブログ

Category: Amazon SageMaker JumpStart

32,000トークン対応の商用利用可能な日本語チャットモデル CyberAgentLM2 をワンクリックで FineTune とデプロイ

このたび株式会社サイバーエージェントから公開されている大規模言語モデルである CyberAgentLM2-7B-Chat (CALM2-7B-Chat) が JumpStart から利用できるようになりました。今回 Amazon SageMaker Jumpstart から利用できるようになったモデルは、11月に同社から発表された次世代の CALM2 シリーズのチャット用途向けの CALM2-7B-Chat です。このモデルは 1.3 兆トークンの日本語と英語の公開データセットで学習された Transformer ベース(Llama)の CyberAgentLM2-7B (CALM2-7B) をチャット向けに教師有り学習でファインチューニングしたモデルです。入出力の長さとして 32,000 トークンに対応しており、日本語の文章として約 50,000 文字を一度に処理することができます。モデルは商用利用可能な Apache License 2.0 で提供されています。

API と OSS 、蓄積したデータで精度を改善するならどちらの基盤モデルを選択すべきか : 質問回答編

本文書では、サービスや製品に蓄積したデータを活用した精度改善を視野に入れた場合、 API と OSS のどちらがコスト効率が良くなるのかを検証します。 API は Amazon Bedrock や ChatGPT などのサービス、 OSS は Hugging Face などで公開されている基盤モデルを GPU インスタンスでホスティングする利用形態を想定しています。本 2 つの手法でデータをプロンプトに組み込む、追加学習に使用した場合の精度とコストを比較します。

RAGを活用した Stable Diffusion のプロンプト改善

テキストからの画像生成 (text-to-Image) は、AIの急速に成長している分野であり、メディアとエンターテインメント、ゲーム、eコマース製品の視覚化、広告とマーケティング、建築設計と視覚化、芸術作品、医療画像など、さまざまな分野で応用されています。
このブログでは、検索拡張生成(RAG) の力を利用して Stable Diffusion モデルに送信されるプロンプトを強化する方法を示します。Amazon Bedrock と SageMaker JumpStart では、大規模言語モデル (LLM) を使用して、プロンプト生成用の独自の AI アシスタントを数分で作成できます。

japanese stable lm instruct alpha 7b v2

Stability AI Japan の Japanese Stable LM Instruct Alpha 7B v2 が Amazon SageMaker JumpStart で使えるようになりました

この度、LLM を AWS 上で簡単にデプロイしたりファインチューニングできるサービスである Amazon SageMaker JumpStart において、Stability AI 社が開発した日本語 LLM である Japanese Stable LM Instruct Alpha 7B v2 が利用可能になりました。本記事では、SageMaker JumpStart を通じて Japanese Stable LM Instruct Alpha 7B v2 モデルを探して、ノーコード、および SageMaker Python SDK でデプロイする方法を解説します。