Amazon Bedrock が Anthropic Claude Sonnet 4 モデルと OpenAI GPT-OSS モデルのバッチ推論をサポート
Anthropic の Claude Sonnet 4 と OpenAI の GPT-OSS 120B および 20B モデルが、Amazon Bedrock のバッチ推論で利用できるようになりました。バッチ推論を使用すると、複数の推論リクエストを非同期で実行できるため、オンデマンド推論料金の 50% で大規模なデータセットのパフォーマンスが向上します。Amazon Bedrock では、Anthropic、OpenAI、Meta、Amazon などの主要な AI プロバイダーの厳選されたバッチ推論用基盤モデル (FM) を提供しているため、大量のワークロードをより簡単かつ費用対効果に優れた方法で処理できます。
Claude Sonnet 4 および OpenAI GPT-OSS モデルでバッチ推論を使用すると、ドキュメントや顧客フィードバックの分析、コンテンツの一括生成 (マーケティングコピー、製品説明など)、大規模なプロンプトまたは出力の評価、ナレッジベースとアーカイブの自動要約、サポートチケットや E メールの大量分類、非構造化テキストからの構造化データの抽出などのシナリオで、大きなデータセットを大規模かつ低コストで処理できます。これらの新しいモデルでは、以前のモデルと比較して、全体的なバッチスループットが高くなるようにバッチサービスを最適化しました。さらに、Amazon CloudWatch メトリクスを使用して、バッチワークロードの進行状況を AWS アカウントレベルで追跡できるようになりました。すべてのモデルにおいて、このメトリクスには保留レコードの合計、処理されたレコード、1 分あたりのトークンが含まれます。Claude モデルの場合、処理待ちのトークンも含まれます。
Amazon Bedrock のバッチ推論の詳細については、バッチ推論のドキュメントをご覧ください。サポートされているモデルの詳細については、バッチ推論がサポートされている地域とモデルのページをご覧ください。また、Amazon Bedrock API リファレンスに従ってバッチ推論を開始することもできます。