Amazon Bedrock 擴大 API 支援,並為 OpenAI 模型導入跨區域推論
Amazon Bedrock 現在支援 bedrock-runtime 端點上的 OpenAI GPT-5.6 模型 (Sol、Terra 和 Luna),並支援 Responses、Converse 和 Chat Completions API。該服務還新增跨區域推論支援,使客戶能夠使用全球和地理跨區域推論來存取更高的輸送量,並享有更低的推論成本。
跨區域推論會自動跨多個 AWS 區域路由推論請求,從而提供更高的輸送量,無需管理多個區域的容量。地理跨區域推論會在預先定義的地理位置內路由請求,其中包括此版本推出的全新 US Geo (US CRIS) 支援,因此您能夠在擴展的同時,保持在該地理位置內處理資料,而全球跨區域推論支援提供模型之任何商業 AWS 區域的請求,使您能夠在最廣泛的範圍內存取 Bedrock 容量,並在需求高峰期間提供最高的輸送量。有了全球跨區域推論,您也能夠享受更低的成本,因為全球推論對 OpenAI 模型每個字符的定價較區域內和地理推論更低。此次推出的版本還擴大 API 支援,您現在也能在 bedrock-runtime 端點上使用 OpenAI GPT 模型與 Responses API、Chat Completions API 和 Converse API。因為這些原生 OpenAI API 目前在 bedrock-runtime 端點上執行,所以模型能夠使用與 Bedrock 上其他模型相同的帳戶層級控制項:使用量會顯示在 Bedrock 模型調用日誌中 (可傳遞至 Amazon S3 或 Amazon CloudWatch Logs) 以及 Amazon CloudWatch 指標中,其中包括調用計數、字符計數、延遲、限流和錯誤,並會在 AWS Cost Explorer 和 AWS 成本與使用報告中逐項列出,以便讓您依模型計入支出。
OpenAI 模型的跨區域推論適用於在 Amazon Bedrock 上提供 OpenAI 模型的所有 AWS 區域。若要著手使用,請在 Amazon Bedrock 使用者指南中檢閱 GPT 5.6 (Sol、Tera 和 Luna) 的模型卡。