Mistral AI モデルが Amazon Bedrock で使用可能に

2月26日週、Mistral AI モデルが Amazon Bedrock に導入される予定であることを発表しました。その記事では、Mistral AI モデルがお客様にとって最適である可能性がある理由をいくつか詳しく説明しました。Mistral AI は、コストとパフォーマンスのバランス、高速な推論速度、透明性と信頼を提供し、幅広いユーザーによるアクセスが可能です。

3月1日、2 つの高性能 Mistral AI モデルである Mistral 7B と Mixtral 8x7B が Amazon Bedrock で使用可能になったことを発表します。Mistral AI は、AI21 Labs、Anthropic、Cohere、Meta、Stability AI、Amazon などの他の大手 AI 企業に次ぐ、Amazon Bedrock で最先端のモデルを提供する 7 番目の基盤モデルプロバイダーです。この統合により、Amazon Bedrock で最適な高性能基盤モデルを柔軟に選択できるようになります。

Mistral 7B は、Mistral AI の最初の基盤モデルであり、自然なコーディング機能で英語のテキスト生成タスクをサポートします。低レイテンシーを実現するために最適化されており、サイズの割にメモリ要件は低く、スループットは大きいです。Mixtral 8x7B は、テキストの要約、質疑応答、テキストの分類、テキスト補完、コード生成に最適な、人気のある高品質の Sparse Mixture-of-Experts (MoE) モデルです。

Amazon Bedrock で Mistral AI モデルがどのように見えるのかを次に示します。

Mistral AI モデルの開始方法
Amazon Bedrock で Mistral AI モデルの使用を開始するには、まずモデルにアクセスする必要があります。Amazon Bedrock コンソールで、[モデルアクセス] を選択してから、[モデルアクセスを管理] を選択します。次に、Mistral AI モデルを選択し、[モデルアクセスをリクエスト] を選択します。

選択した Mistral AI モデルにアクセスできるようになったら、[プレイグラウンド] セクションの [チャット] または [テキスト] でプロンプトを使用してモデルをテストできます。

Mistral AI モデルをプログラムで操作する
また、AWS コマンドラインインターフェイス (CLI) と AWS Software Development Kit (SDK) で Amazon Bedrock API を使用してさまざまな呼び出しを実行することもできます。AWS SDK を使用して Amazon Bedrock Runtime API を操作する Python のサンプルコードを次に示します。

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime")

prompt = "<s>[INST] INSERT YOUR PROMPT HERE [/INST]"

body = json.dumps({
    "prompt": prompt,
    "max_tokens": 512,
    "top_p": 0.8,
    "temperature": 0.5,
})

modelId = "mistral.mistral-7b-instruct-v0:2"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

print(json.loads(response.get('body').read()))

Mistral AI モデルの動作
アプリケーションを AWS SDK と統合し、Amazon Bedrock を利用して Mistral AI モデルを呼び出すことで、さまざまなユースケースを実装する可能性を広げることができます。ここでは、サンプルプロンプトで Mistral AI モデルを使用する、私が個人的に気に入っているユースケースをいくつかご紹介します。その他の例については、Mistral AI ドキュメントページの「プロンプト機能」をご覧ください。

テキストの要約 – Mistral AI モデルは長い記事からでも要点を抽出できるため、重要なアイデアや核となるメッセージをすぐに把握できます。

You are a summarization system.In clear and concise language, provide three short summaries in bullet points of the following essay.

# Essay:
{insert essay text here}

パーソナライゼーション – 言語の理解、推論、学習という AI の中核的な機能により、Mistral AI モデルはより人間らしい質のテキストを使用して回答をパーソナライズできます。Mistral AI モデルの精度、説明機能、多用途性により、個々のユーザーに合わせたコンテンツを提供できるため、パーソナライゼーションタスクに役立ちます。

You are a mortgage lender customer service bot, and your task is to create personalized email responses to address customer questions.Answer the customer's inquiry using the provided facts below.Ensure that your response is clear, concise, and directly addresses the customer's question.Address the customer in a friendly and professional manner.Sign the email with "Lender Customer Support."

# Facts
<INSERT FACTS AND INFORMATION HERE>

# Email
{insert customer email here}

コード補完 – Mistral AI モデルは、自然言語とコード関連のタスクについて、非常に高い理解度を備えています。これは、コンピュータコードや通常の言語を使用する必要があるプロジェクトにとって不可欠です。Mistral AI モデルは、コードスニペットの生成、バグ修正の提案、既存のコードの最適化に役立ち、開発プロセスを加速します。

[INST] You are a code assistant.Your task is to generate a 5 valid JSON object based on the following properties:
name: 
lastname: 
address: 
Just generate the JSON object without explanations:
[/INST]

知っておくべきこと
その他の情報をいくつかご紹介します。

• 利用可能なリージョン – Amazon Bedrock における Mistral AI の Mixtral 8x7B および Mistral 7B モデルは、米国西部 (オレゴン) リージョンでご利用いただけます。
• Mistral 7B と Mixtral 8x7B の詳細 – Amazon Bedrock での Mistral AI モデルについてさらに詳しく知りたい場合は、私の同僚の Mike による「Mistral AI – Winds of Change」というタイトルの記事もぜひお読みください。

今すぐご利用いただけます
Mistral AI モデルは現在、Amazon Bedrock でご利用いただけます。皆さんが構築するものを見るのが楽しみです。まずは、「Mistral AI on Amazon Bedrock」にアクセスしてください。

構築がうまくいきますように。
– Donnie

原文はこちらです。