Amazon Bedrock での Meta の Llama 3.1 405B、70B、8B モデルを発表

7月23日、Llama 3.1 モデルが Amazon Bedrock で利用可能になったことをお知らせします。Llama 3.1 モデルは、これまでで最も先進的かつ高性能な Meta のモデルです。8B、70B、405B のパラメータサイズモデルのコレクションであり、幅広い業界ベンチマークで最高のパフォーマンスを示し、生成人工知能 (生成 AI) アプリケーションに新機能を提供します。

すべての Llama 3.1 モデルは、Llama 3 モデルの 16 倍の容量を持つ 128K コンテキスト長 (Llama 3 と比較してトークンが 12 万個増加) をサポートします。また、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語の 8 言語での多言語ダイアログユースケースの推論が改善されました。

このたび Amazon Bedrock で、Meta による次の 3 つの新しい Llama 3.1 モデルを使用して、生成 AI のアイデアを構築して試し、責任を持ってスケールできるようになりました。

• Meta によると、Llama 3.1 405B (プレビュー) は、一般公開されている世界最大の大規模言語モデル (LLM) です。AI の新しい基準を打ち立てるこのモデルは、企業レベルのアプリケーションと研究開発 (R&D) に最適です。モデルの出力を使用して、より小規模な Llama モデルやモデルの蒸留を改善し、405B モデルからより小規模なモデルに知識を伝達する、合成データ生成などのタスクに適しています。このモデルは、一般知識、長文テキスト生成、多言語翻訳、機械翻訳、コーディング、数学、ツールの使用、コンテキスト理解の強化、高度な推論と意思決定に秀でています。詳細については、Llama 3.1 405B を使用してモデル蒸留用の合成データを生成する方法に関する AWS 機械学習ブログをご覧ください。
• Llama 3.1 70B は、コンテンツ制作、会話型 AI、言語理解、研究開発、エンタープライズアプリケーションに最適です。このモデルは、テキストの要約と正確さ、テキストの分類、感情分析とニュアンスの推論、言語モデリング、対話システム、コード生成、指示に従うことに優れています。
• Llama 3.1 8B は、計算能力とリソースが限られている場合にお勧めです。このモデルは、低レイテンシーの推論が求められるテキストの要約、テキスト分類、感情分析、言語翻訳に優れています。

Meta は、幅広い言語と広範囲にわたる人間の評価を含む 150 以上のベンチマークデータセットで、Llama 3.1 のパフォーマンスを測定しました。次のグラフからわかるように、Llama 3.1 はすべての主要なベンチマークカテゴリで Llama 3 を上回っています。

Llama 3.1 の機能の詳細については、Meta の Llama 3.1 モデルカードおよび AWS ドキュメントの Llama モデルをご覧ください。

Llama 3.1 の責任ある AI 機能と Amazon Bedrock のデータガバナンスおよびモデル評価機能を組み合わせることで、自信を持って安全かつ信頼性の高い生成 AI アプリケーションを構築できます。

• Guardrails for Amazon Bedrock – 特定のユースケースに合わせたさまざまな構成のガードレールを複数作成し、ユースケースおよび責任ある AI ポリシーに合わせてカスタマイズした安全対策を実装することで、Guardrails を使用してユーザーと生成 AI アプリケーション間の安全な対話を促進できます。Guardrails for Amazon Bedrock では、ユーザー入力を継続的に監視および分析し、顧客が定義したポリシーに違反する可能性のある応答のモデル化、企業データに基づかないモデル応答やユーザーのクエリと無関係なモデル応答のハルシネーションの検出、カスタムモデルやサードパーティーモデルを含むさまざまなモデルでの評価を実行できます。利用を開始するには、AWS ドキュメントの「ガードレールの作成」をご覧ください。
• Amazon Bedrock でのモデル評価 – 自動評価または人間による評価を使用して、わずか数ステップでユースケースに最適なラマモデルを評価、比較、選択できます。Amazon Bedrock でのモデル評価では、精度、堅牢性、毒性などの定義済みのメトリクスによる自動評価を選択できます。また、関連性、スタイル、ブランドボイスとの整合性などの主観的指標やカスタム指標について、人間による評価ワークフローを選択することも可能です。モデル評価では、組み込みの厳選されたデータセットを使用するか、独自のデータセットを取り込むことができます。利用を開始するには、AWS ドキュメントの「モデル評価の使用開始」をご覧ください。

AWS でデータとアプリケーションを安全かつプライベートに保つ方法の詳細については、Amazon Bedrock のセキュリティとプライバシーのページをご覧ください。

Amazon Bedrock での Llama 3.1 モデルの使用開始
Meta の Llama モデルを初めて使用する場合は、Amazon Bedrock コンソールにアクセスして、左下のペインで [モデルアクセス] を選択します。Meta から最新の Llama 3 モデルにアクセスするには、Llama 3.1 8B Instruct、Llama 3.1 70B Instruct、または Llama 3.1 405B Instruct へのアクセスを個別にリクエストします。

Amazon Bedrock の Llama 3.1 405B のプレビュー版へのアクセスをリクエストするには、AWS アカウントチームに連絡するか、AWS マネジメントコンソールでサポートチケットを送信してください。サポートチケットを作成するときに、[カテゴリ] の [サービスとモデル] で [Amazon Bedrock] を選択します。

Amazon Bedrock コンソールで Meta の Llama 3.1 モデルをテストするには、左側のメニューペインの[プレイグラウンド] で[テキスト] または [チャット] を選択します。次に、[モデルを選択] を選択し、カテゴリで [Meta] を選択して、モデルで [Llama 3.1 8B Instruct]、[Llama 3.1 70B Instruct]、または [Llama 3.1 405B Instruct] を選択します。

次の例では、Llama 3.1 405B Instruct モデルを選択しました。

また、[API リクエストを表示] を選択すると、AWS コマンドラインインターフェイス (AWS CLI) や AWS SDK でコードサンプルを使用してモデルにアクセスすることもできます。meta.llama3-1-8b-instruct-v1、meta.llama3-1-70b-instruct-v1、または meta.llama3-1-405b-instruct-v1 などのモデル ID を使用できます。

AWS CLI コマンドのサンプルを次に示します。

aws bedrock-runtime invoke-model \
  --model-id meta.llama3-1-405b-instruct-v1:0 \
--body "{\"prompt\":\" [INST]You are a very intelligent bot with exceptional critical thinking[/INST] I went to the market and bought 10 apples.あなたの友達にリンゴを 2 個、ヘルパーに 2 個あげました。その後、リンゴをさらに 5 個買って 1 個食べました。リンゴはいくつ残っているでしょうか? 一歩ずつ考えてみましょう。\",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

AWS SDK を使用する Amazon Bedrock の Llama モデルのコード例を利用すると、さまざまなプログラミング言語でアプリケーションを構築できます。次の Python コード例は、テキスト生成用の Amazon Bedrock Converse API を使用して Llama にテキストメッセージを送信する方法を示しています。

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the AWS Region you want to use.
client = boto3.client("bedrock-runtime", region_name="us-east-1")

# Set the model ID, e.g., Llama 3 8b Instruct.
model_id = "meta.llama3-1-405b-instruct-v1:0"

# Start a conversation with the user message.
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = client.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'.Reason: {e}")
    exit(1)

Amazon SageMaker JumpStart では、Llama 3.1 のすべてのモデル (8B、70B、405B) を使用することも可能です。Amazon SageMaker Studio で数回クリックするか、SageMaker Python SDK を使用してプログラムで、Llama 3.1 モデルを見つけてデプロイできます。SageMaker パイプライン、SageMaker Debugger、または仮想プライベートクラウド (VPC) コントロール下のコンテナログなどの SageMaker 機能を使用してモデルを操作できるため、データのセキュリティを確保できます。

Amazon Bedrock と Amazon SageMaker JumpStart の Llama 3.1 モデルの微調整は間もなく行われる予定です。SageMaker JumpStart で微調整されたモデルを作成して、Amazon Bedrock にカスタムモデルをインポートすることも可能です。詳細については、AWS 機械学習ブログの「Meta Llama 3.1 モデルが Amazon SageMaker JumpStart で利用できるようになりました」をご覧ください。

基盤となるリソースの柔軟性と制御を強化するために、自己管理型の機械学習ワークフローを通じて AWS に Llama 3.1 モデルをデプロイしたいお客様は、AWS Trainium と AWS Inferentia を搭載した Amazon Elastic Compute Cloud (Amazon EC2) インスタンスを使用して、高パフォーマンスかつ費用対効果の高い方法で Llama 3.1 モデルを AWS にデプロイできます。詳細については、AWS 機械学習ブログの「AWS の Meta Llama 3.1 モデルで高性能かつ低コストを実現する AWS AI チップ」をご覧ください。

このリリースを記念して、Meta の Business Development Manager である Parkin Kent 氏が、Meta と Amazon のコラボレーションの力について語り、両社が協力して生成 AI の可能性の限界を押し広げていることを強調しました。

企業が Amazon Bedrock で Llama モデルを使用し、生成 AI の力を活用している方法をご覧ください。30 の国と地域にまたがるグローバルな金融サービスグループである野村ホールディングスは、Amazon Bedrock の Llama モデルを使用して、組織全体で生成 AI を民主化しています。

今すぐご利用いただけます
Meta の Llama 3.1 8B および 70B モデルは一般公開されています。また、Llama 450B モデルは本日、米国西部 (オレゴン) 地域の Amazon Bedrock でプレビューできるようになりました。Amazon Bedrock の Llama 3.1 405B のプレビュー版へのアクセスをリクエストするには、AWS アカウントチームに連絡するか、サポートチケットを送信してください。今後の最新情報については、詳細なリージョンリストをご確認ください。詳細については、Amazon Bedrock での Llama 製品ページと Amazon Bedrock の料金ページをご覧ください。

Amazon Bedrock コンソール で Llama 3.1 を今すぐお試しいただき、AWS re:Post for Amazon Bedrock に、または AWS サポートの通常の連絡先を通じて、フィードバックをぜひお寄せください。

community.aws サイトにアクセスすると、詳細な技術コンテンツを検索することや、ビルダーコミュニティがソリューションで Amazon Bedrock をどのように使用しているかを調べることができます。Amazon Bedrock で Llama 3.1 を使用して何を構築しているのか、ぜひ教えてください。

– Channy

原文はこちらです。