Amazon Bedrock 現在支援跨區域推論

張貼日期: 2024年8月27日

今天，Amazon Bedrock 宣布支援跨區域推論，這是一項選擇性功能，可讓開發人員透過跨不同 AWS 區域的運算，順暢地管理流量激增的情況。透過使用跨區域推論，運用隨需模式的 Bedrock 客戶將能夠在需求高峰期間獲得更高的輸送量限制 (最高可達所分配區域內配額的兩倍)，並提高了彈性。透過選擇加入，開發人員不再需要花費時間和精力預測需求波動。相反的，跨區域推論會在多個區域中動態路由流量，確保每個請求都具有最佳的可用性，並在使用量較高的期間提供更順暢的效能。

客戶可以從預先定義的一組區域中進行選擇，進而控制推論資料流程的所在位置，並協助他們遵守適用的資料落地要求和主權法規。此外，此功能會在可能的情況下排定連線之 Bedrock API 來源區域的優先順序，這有助於最小化延遲並提高回應速度。因此，客戶可以提高應用程式的可靠性、效能和效率。

您無須為使用跨區域推論支付額外的路由費用，而且該服務會根據您提出請求的區域 (來源區域) 向您收取費用。請在此處了解支援的模型和預先定義區域的清單。若要進一步了解此功能以及如何開始使用，請參閱 Amazon Bedrock 文件或此部落格。