Amazon Bedrock ナレッジベースがクロスリージョン推論のサポートを開始

投稿日: 2024年9月13日

Amazon Bedrock のナレッジベースはクロスリージョン推論のサポートを発表しました。これは、開発者がさまざまな AWS リージョンのコンピューティングを利用してトラフィックバーストをシームレスに管理できるようにするオプション機能です。

クロスリージョン推論を使用することで、RetrieveAndGenerate API を使用する Amazon Bedrock ナレッジベースのお客様は、より高いスループット制限を得ることができ、需要のピーク時にレジリエンスを強化できます。オプトインすることで、開発者は需要の変動を予測するために時間と労力を費やす必要がなくなります。代わりに、クロスリージョン推論によって複数のリージョン間でトラフィックが動的にルーティングされるため、各リクエストに最適な可用性が確保され、使用率の高い時間帯のパフォーマンスが向上します。クロスリージョン推論を使用するには、お客様は RetrieveAndGenerate API のリクエストで推論プロファイルを「ModelARN」として指定する必要があります。クロスリージョン推論を使用しても追加のルーティングコストは発生せず、リクエストを行ったリージョン (ソースリージョン) に基づいて請求されます。

サポート対象のモデルと事前定義されたリージョンのリストは、こちらをご覧ください。この機能の詳細と使用開始方法については、Amazon Bedrock のドキュメントまたはこのブログを参照してください。