Amazon Bedrock がプロンプトキャッシュのプレビュー版を発表
本日、AWS は Amazon Bedrock でプロンプトキャッシュがサポートされるようになったことを発表しました。プロンプトキャッシュは新しい機能であり、頻繁に使用されるプロンプトを複数の API コールでキャッシュすることで、サポート対象モデルのコストを最大 90% 削減し、レイテンシーを最大 85% 短縮できます。これにより、繰り返しの多い入力をキャッシュできるため、モデルの応答を得るのに役立つ長いシステムプロンプトや一般的な例などのコンテキストを再処理する必要がなくなります。キャッシュを使用すると、出力の生成に必要なコンピューティングリソースは減少します。その結果、より迅速にリクエストを処理できるだけでなく、使用するリソースの減少に伴ってコスト削減も実現できます。
Amazon Bedrock は、主要な AI 企業が提供する高性能な基盤モデル (FM) を 1 つの API で選択できるフルマネージド型サービスです。Amazon Bedrock には、セキュリティ、プライバシー、責任ある AI 機能が組み込まれた生成 AI アプリケーションの構築に必要な幅広い機能も用意されています。これらの機能は、さまざまな業界の複数のユースケースに合わせてカスタマイズされたアプリケーションを構築するのに役立ち、組織が顧客の信頼とデータガバナンスを構築するツールを提供しながら生成 AI による持続的な成長を促進できるようにします。
プロンプトキャッシュは、米国西部 (オレゴン) と米国東部 (バージニア北部) ではクロスリージョン推論を通じて Claude 3.5 Haiku および Claude 3.5 Sonnet v2 で、また米国東部 (バージニア北部) では Nova Micro、Nova Lite、Nova Pro の各モデルで利用できるようになりました。リリース時点では、一部のお客様のみがこの機能にアクセスできます。プレビュー版への参加の詳細については、こちらのページを参照してください。プロンプトキャッシュの詳細については、AWS のドキュメントとブログを参照してください。