AI21 Labs の Jamba 1.5 ファミリーのモデルが Amazon Bedrock で利用可能に

9 月 23 日、AI21 Labs のパワフルな新しい Jamba 1.5 ファミリーの大規模言語モデル (LLM) が Amazon Bedrock でご利用いただけるようになりました。これらのモデルは、ロングコンテキスト言語機能を大幅に向上させたもので、幅広いアプリケーションでスピード、効率、パフォーマンスを実現しています。Jamba 1.5 ファミリーのモデルには、Jamba 1.5 Mini と Jamba 1.5 Large が含まれます。どちらのモデルも、256K トークンのコンテキストウィンドウ、構造化された JSON 出力、関数呼び出しをサポートし、ドキュメントオブジェクトのダイジェストが可能です。

AI21 Labs は、企業向けの基盤モデルと人工知能 (AI) システムの構築におけるリーダーです。AI21 Labs と AWS は協力して、あらゆる業界のお客様が、現実世界の課題を解決し、戦略的コラボレーションを通じてイノベーションを促進する生成 AI アプリケーションを構築、デプロイ、スケールできるよう支援しています。AI21 Labs の高度な本番対応モデルと Amazon の専用サービスおよび強力なインフラストラクチャを組み合わせることで、お客様は安全な環境で LLM を活用して、情報の処理、コミュニケーション、学習の未来を形作ることができます。

Jamba 1.5 とは?
Jamba 1.5 モデルは、トランスフォーマーモデルアーキテクチャと Structured State Space モデル (SSM) テクノロジーを組み合わせた独自のハイブリッドアーキテクチャを活用しています。この革新的なアプローチにより、Jamba 1.5 モデルは、従来のトランスフォーマーモデルの高性能な特性を維持しながら、最大 256K トークンの長いコンテキストウィンドウを処理できます。このハイブリッド SSM/トランスフォーマーアーキテクチャの詳細については、ホワイトペーパー「Jamba: A Hybrid Transformer-Mamba Language Model」を参照してください。

これで、Amazon Bedrock で AI21 の新しい Jamba 1.5 モデルが 2 つ使用できるようになりました。

• Jamba 1.5 Large は、あらゆるプロンプト長にわたる複雑な推論タスクに優れているため、長い入力と短い入力の両方で高品質の出力を必要とするアプリケーションに最適です。
• Jamba 1.5 Mini は、長いプロンプトの低レイテンシー処理に最適化されているため、長いドキュメントやデータをすばやく分析できます。

Jamba 1.5 モデルの主な強みは次のとおりです。

• 長いコンテキスト処理 – 256K トークンのコンテキスト長を備えた Jamba 1.5 モデルは、長いドキュメントの要約や分析、エージェントワークフローや RAG ワークフローなど、エンタープライズアプリケーションの品質を向上させることができます。
• 多言語 – 英語、スペイン語、フランス語、ポルトガル語、イタリア語、オランダ語、ドイツ語、アラビア語、ヘブライ語をサポートしています。
• デベロッパーに優しい – 構造化された JSON 出力、関数呼び出しをネイティブでサポートし、ドキュメントオブジェクトのダイジェストが可能です。
• スピードと効率性 – AI21 は Jamba 1.5 モデルのパフォーマンスを測定し、同等のサイズの他のモデルよりも長いコンテキストでの推論が最大 2.5 倍速いことを示しました。詳細なパフォーマンス結果については、AI21 ウェブサイトの Jamba モデルファミリーの発表をご覧ください。

Amazon Bedrock の Jamba 1.5 モデルの使用を開始する
新しい Jamba 1.5 モデルを使い始めるには、Amazon Bedrock コンソールに移動し、左下のペインで [Model access] (モデルアクセス) を選択して、Jamba 1.5 Mini または Jamba 1.5 Large へのアクセスをリクエストしてください。

Amazon Bedrock コンソールで Jamba 1.5 モデルをテストするには、左側のメニューペインの [Text] (テキスト) または [Chat] (チャット) プレイグラウンドを選択します。次に、[Select model] (モデルを選択) を選択し、カテゴリとして[AI21] を選択し、モデルとして [Jamba 1.5 Mini] または [Jamba 1.5 Large] を選択します。

[API リクエストを表示] を選択すると、AWS コマンドラインインターフェイス (AWS CLI) と現在のサンプルプロンプトを使用してモデルを呼び出す方法のコード例を取得できます。

Amazon Bedrock ドキュメントのコード例に従って、AWS SDK を使用して利用可能なモデルにアクセスし、さまざまなプログラミング言語を使用してアプリケーションを構築できます。

次の Python コード例は、テキスト生成用の Amazon Bedrock Converse API を使用して Jamba 1.5 モデルにテキストメッセージを送信する方法を示しています。

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime client.
bedrock_runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

# Set the model ID.
# modelId = "ai21.jamba-1-5-mini-v1:0"
model_id = "ai21.jamba-1-5-large-v1:0"

# Start a conversation with the user message.
user_message = "What are 3 fun facts about mambas?"
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = bedrock_runtime.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 256, "temperature": 0.7, "topP": 0.8},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'.Reason: {e}")
    exit(1)

Jamba 1.5 モデルは、ペアドキュメント分析、コンプライアンス分析、長いドキュメントの質問回答などのユースケースに最適です。複数の情報源の情報を簡単に比較したり、文章が特定のガイドラインを満たしているかどうかを確認したり、非常に長いドキュメントや複雑なドキュメントを処理したりできます。サンプルコードは AI21-on-AWS GitHub リポジトリにあります。 Jamba モデルに効果的にプロンプトを表示する方法の詳細については、AI21 のドキュメントをご覧ください。

今すぐご利用いただけます
AI21 Labs の Jamba 1.5 ファミリーモデルは、本日、米国東部 (バージニア北部) AWS リージョンの Amazon Bedrock で一般公開されます。今後の更新については、全リージョンのリストを確認してください。詳細については、Amazon Bedrock の AI21 Labs 製品ページと料金ページをご覧ください。

Amazon Bedrock コンソール で Jamba 1.5 モデルを今すぐお試しいただき、AWS re:Post for Amazon Bedrock に、または AWS サポートの通常の連絡先を通じて、フィードバックをぜひお寄せください。

community.aws サイトにアクセスして、深く掘り下げた技術コンテンツを検索し、ビルダーコミュニティがソリューションで Amazon Bedrock を使用する方法を見出しましょう。

– Antje

原文はこちらです。