Amazon Bedrock 知識庫現已支援跨區域推論

張貼日期: 2024年9月13日

Amazon Bedrock 知識庫宣布支援跨區域推論，這是一項選擇性功能，可讓開發人員跨越不同 AWS 區域利用運算資源，順暢地管理流量激增的情況。

使用跨區域推論，Amazon Bedrock 知識庫的客戶在使用 RetrieveAndGenerate API 時，就能在需求高峰期間獲得更高的輸送量上限及經過增強的彈性。透過選擇加入，開發人員不再需要花費時間和精力預測需求波動。相反的，跨區域推論會在多個區域中動態路由流量，確保每個請求都具有最佳的可用性，並在使用量較高的期間提供更順暢的效能。若要使用跨區域推論，客戶需要在 RetrieveAndGenerate API 的請求中將推論設定檔指定為「modelARN」。您無須為使用跨區域推論支付額外的路由費用，而且該服務會根據您提出請求的區域 (來源區域) 向您收取費用。

請在此處了解支援的模型和預先定義區域的清單。若要進一步了解此功能以及如何開始使用，請參閱 Amazon Bedrock 文件或此部落格。