Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングの一般提供を開始

11 月 1 日、米国西部 (オレゴン) AWS リージョンで、Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングの一般提供が開始されることをお知らせします。Amazon Bedrock は、Claude モデルをファインチューニングできる唯一のフルマネージドサービスです。Claude 3 Haiku モデルを独自のタスク固有のトレーニングデータセットでファインチューニングおよびカスタマイズして、モデルの精度、品質、一貫性を高め、ビジネスに合わせて生成 AI をさらにカスタマイズできるようになりました。

ファインチューニングとは、重みを更新し、学習率やバッチサイズなどのハイパーパラメータをチューニングして最適な結果を得られるようにすることで、事前トレーニング済みの大規模言語モデル (LLM) を特定のタスクに合わせてカスタマイズする手法をいいます。

Anthropic の Claude 3 Haiku モデルは、Claude 3 モデルファミリーの中で最も高速かつコンパクトなモデルです。Claude 3 Haiku をファインチューニングすると、次の大きな利点がビジネスにもたらされます。

• カスタマイズ – 企業やドメインの知識をエンコードすることで、より一般的なモデルと比較して、ビジネスにとって重要な分野で優れたパフォーマンスを発揮するモデルをカスタマイズできます。
• 専門的なパフォーマンス – より質の高い結果を生成し、会社の独自の情報、ブランド、製品などを反映した独自のユーザーエクスペリエンスを生み出すことができます。
• タスク固有の最適化 – 分類、カスタム API とのインタラクション、業界固有のデータ解釈など、ドメイン固有のアクションのパフォーマンスを強化できます。
• データセキュリティ – 安全な AWS 環境で安心してファインチューニングできます。Amazon Bedrock は、お客様のみがアクセスできるベース基盤モデルの別のコピーを作成し、このモデルのプライベートコピーをトレーニングします。

ドメイン固有のラベル付きデータを提供して Amazon Bedrock における Claude 3 Haiku モデルをファインチューニングすることで、特定のビジネスユースケースのためにパフォーマンスを最適化できるようになりました。

2024 年の初めに、当社は、お客様独自のデータソースで Anthropic の Claude モデルをファインチューニングするのをサポートするために、AWS 生成 AI イノベーションセンターのエキスパートチームを通じてお客様との連携を開始しました。Amazon Bedrock における Anthropic の Claude 3 Haiku モデルを、Amazon Bedrock コンソールで直接ファインチューニングできるようになりました。

Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングを開始する
Amazon Bedrock における Claude 3 Haiku モデルを簡単にファインチューニングする方法をご紹介します。ファインチューニングのワークフローの詳細については、AWS 機械学習ブログの記事「Fine-tune Anthropic’s Claude 3 Haiku in Amazon Bedrock to boost model accuracy and quality」にアクセスしてください。

Amazon Bedrock コンソールでシンプルなファインチューニングジョブを作成するには、ナビゲーションペインの [基盤モデル] セクションに移動し、[カスタムモデル] を選択します。[モデル] セクションで、[モデルをカスタマイズ] ボタンを選択し、[ファインチューニングジョブを作成] を選択します。

次に、独自のデータでカスタマイズするモデルを選択し、結果として得られたモデルに名前を付け、必要に応じて、[モデルの詳細] セクションでモデルに関連付ける暗号化キーとタグを追加します。ジョブの名前を入力し、必要に応じて、[ジョブの設定] セクションでジョブのタグを追加します。

トレーニングデータセットファイルの Amazon S3 の場所と、該当する場合は検証データセットファイルを [入力データ] セクションで選択できます。

各データセットは、シングルターンまたはマルチターンのメッセージング形式を使用した複数の JSON 行を含む JSON Lines (JSONL) ファイルを使用して作成できます。各 JSON 行は、system とメッセージ (message オブジェクトの配列) を含むサンプルです。

Amazon Bedrock における Anthropic の Claude 3.5 Sonnet モデルに関する最新情報をいくつかご用意しました。詳細については、Amazon Bedrock ドキュメントの「Prepare the datasets」にアクセスしてください。

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "What’s the latest models to support Amazon Bedrock"},{"role": "assistant", "content": "Amazon Bedrock is a fully managed service that support Anthropic’s Claude 3 Sonnet, Haiku, and Opus models and the latest Claud 3.5 Sonnet model."}]}
{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "How long context window of Claude 3.5?"},{"role": "assistant", "content": "Anthropic's Claude 3 models have a 200,000 token context window enabling you to relay a large volume of information to Claude.This translates to roughly 150,000 words, or over 500 pages of material."}]}
{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "Is Claude 3.5 available in Bedrock?"},{"role": "assistant", "content": "Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet, demonstrates exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus."}]}

[ハイパーパラメータ] セクションで、エポック、バッチサイズ、学習率乗数など、トレーニングで使用するハイパーパラメータの値を入力します。検証データセットを含めた場合は、[早期停止] を有効にすることができます。これは、過学習を防ぎ、検証損失の改善が停止したときにトレーニングプロセスを停止するために使用される手法です。早期停止のしきい値と Patience の値を設定できます。

また、[出力データ] セクションで、Amazon Bedrock がジョブの出力を保存する出力場所を選択することもできます。[サービスアクセス] セクションで、適切な許可を持つ AWS Identity and Access Management (IAM) カスタムサービスロールを選択します。詳細については、Amazon Bedrock ドキュメントの「Create a service role for model customization」をご覧ください。

最後に、[ファインチューニングジョブを作成] を選択し、ファインチューニングジョブが開始されるのを待ちます。

[カスタムモデル] セクションの [ジョブ] タブで、進行状況を追跡したり、停止したりできます。

モデルのカスタマイズジョブが完了したら、ジョブの送信時に指定した出力 Amazon Simple Storage Service (Amazon S3) フォルダ内のファイルを確認してトレーニングプロセスの結果を分析したり、モデルに関する詳細を表示したりできます。

カスタマイズされたモデルを使用する前に、Amazon Bedrock のプロビジョンドスループットを購入し、その結果として得られたプロビジョンドモデルを推論のために使用する必要があります。プロビジョンドスループットを購入すると、コミットメント期間を選択し、モデルユニットの数を選択して、時間単位、日単位、月単位の推定コストを確認できます。Claude 3 Haiku モデルのカスタムモデル料金の詳細については、「Amazon Bedrock の料金」にアクセスしてください。

これで、コンソールプレイグラウンドでカスタムモデルをテストできます。カスタムモデルを選択し、Anthropic の Claude 3.5 Sonnet モデルが Amazon Bedrock で使用できるかどうかをたずねます。

次の回答が提示されます。

Yes.You can use Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet in the Amazon Bedrock.You can demonstrate exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus.

このジョブは、AWS API、AWS SDK、または AWS コマンドラインインターフェイス (AWS CLI) を使用して完了できます。AWS CLI の使用の詳細については、AWS ドキュメントの「Code samples for model customization」にアクセスしてください。

Jupyter Notebook を使用している場合は、GitHub リポジトリにアクセスし、カスタムモデルのハンズオンガイドに従ってください。本番レベルのオペレーションを構築するには、AWS 機械学習ブログで「Streamline custom model creation and deployment for Amazon Bedrock with Provisioned Throughput using Terraform」を読むことをお勧めします。

データセットとパラメータ
Claude 3 Haiku をファインチューニングする場合、最初に行うべきことはデータセットを確認することです。Haiku のトレーニングには、トレーニングデータセットと検証データセットの 2 つのデータセットが関係します。トレーニングを成功させるには、特定のパラメータに従う必要があります。これらは、次の表に概説されています。

データセットを準備する際には、小規模で高品質のデータセットから始めて、チューニング結果に基づいてイテレーションしてください。トレーニングデータを改良および改善するのに役立つよう、Claude 3 Opus や Claude 3.5 Sonnet などの Anthropic のより大きなモデルを使用することも考えられます。また、これらのモデルを使用して、Claude 3 Haiku モデルをファインチューニングするためのトレーニングデータを生成することもできます。これは、より大きなモデルが既にターゲットタスクで優れたパフォーマンスを発揮している場合に非常に効果的である場合があります。

適切なハイパーパラメータの選択とデータセットの準備に関する詳細なガイダンスについては、AWS 機械学習ブログの記事「Best practices and lessons for fine-tuning Anthropic’s Claude 3 Haiku in Amazon Bedrock」をお読みください。

デモ動画
Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングを開始するのに役立つステップバイステップのチュートリアルについては、この詳細なデモ動画をご覧ください。

今すぐご利用いただけます
Amazon Bedrock における Anthropic の Claude 3 Haiku モデルのファインチューニングの一般提供が、米国西部 (オレゴン) AWS リージョンで開始されました。今後の更新については、詳細なリージョン一覧をご確認ください。詳細については、Amazon Bedrock ドキュメントの「Custom models」にアクセスしてください。

今すぐ Amazon Bedrock コンソールで Claude 3 Haiku モデルのファインチューニングをお試しいただき、AWS re:Post for Amazon Bedrock に、または通常の AWS サポートの連絡先を通じて、フィードバックをぜひお寄せください。

お客様がこの新しいテクノロジーをビジネスで活用して生み出す成果を目にするのを楽しみにしています。

– Channy

原文はこちらです。