Amazon Bedrock 現在支援 OpenAI 的 Responses API
Amazon Bedrock 現在支援全新 OpenAI API 相容服務端點上的 Responses API。Responses API 可讓開發人員針對長時間執行的推論工作負載實現非同步推論、簡化代理式工作流程的工具使用整合，並支援具狀態對話管理。Responses API 不需要開發人員在每個請求中傳遞完整對話歷史記錄，而是讓開發人員得以在不需要手動管理歷史記錄的情況下，自動重建上下文。這些新服務端點同時支援串流模式和非串流模式、能夠在 Chat Completions API 中啟用推論工作支援，並且開發人員只需要進行基本 URL 變更，就能整合至與 OpenAI SDK 相容的現有程式碼庫中。
支援推論工作的 Chat Completions 適用於所有由 Project Mantle 提供支援的 Amazon Bedrock 模型，Project Mantle 是一種用於在 Amazon Bedrock 上提供大型機器學習模型服務的全新分散式推論引擎。Project Mantle 會簡化並加速將新模型導入 Amazon Bedrock 的流程、提供具有複雜服務品質控制功能的高效能和可靠無伺服器推論、會透過自動化容量管理和統一集區提供更高的預設客戶配額，而且預設會與 OpenAI API 規格相容。Responses API 支援即日生效，初步適用於 OpenAI 的 GPT OSS 20B/120B 模型，並且即將推出針對其他模型的支援。
若要著手使用，請在這裡瀏覽服務文件