Amazon Bedrock のエージェント、フロー、ナレッジベースがレイテンシー最適化モデルのサポートを開始

投稿日: 2024年12月23日

最近発表されてプレビュー中のレイテンシー最適化モデルが、Amazon Bedrock のエージェント、フロー、ナレッジベースで SDK を介してサポートされるようになりました。この機能強化により、Amazon Bedrock ツールで構築された AI アプリケーションの応答時間が短縮され、応答性が向上します。現在、この最適化は Anthropic の Claude 3.5 Haiku モデルと Meta の Llama 3.1 405B および 70B モデルで利用可能であり、精度を損なうことなく、レイテンシーが標準モデルより削減されます。

このアップデートは、リアルタイムのカスタマーサービスチャットボットやインタラクティブなコーディングアシスタントなど、レイテンシーの影響を受けやすいアプリケーションを開発しているお客様にとって特に有益です。AWS Trainium2 などの専用の AI チップと Amazon Bedrock での高度なソフトウェア最適化を併用すると、特定のユースケースに合わせて推論を最適化するためのより多くのオプションを利用できるようになります。重要なのは、追加のセットアップやモデルの微調整なしでこれらの機能を既存のアプリケーションにすぐに統合して、パフォーマンスの向上と応答時間の短縮を実現できるということです。

Amazon Bedrock のエージェント、フロー、ナレッジベース向けのレイテンシー最適化推論サポートは、米国東部 (オハイオ) リージョンでクロスリージョン推論を通じて利用できます。お客様は、Amazon Bedrock SDK のランタイム設定を通じてこれらの新機能にアクセスできるため、プログラムを使ってこれらの最適化されたモデルをワークフローやアプリケーションに組み込むことができます。

この新しいレイテンシー最適化推論サポートを含む、Amazon Bedrock とその機能の詳細については、Amazon Bedrock の製品ページ、価格ページ、およびドキュメントをご覧ください。