Amazon Bedrock 现支持来自 OpenAI 的响应 API

发布于: 2025年12月4日

Amazon Bedrock 现支持在兼容 OpenAI API 的新服务端点上使用响应 API。响应 API 使开发人员能够对长时间运行的推理工作负载实现异步推理，并简化代理工作流程的工具使用集成，同时支持有状态对话管理。响应 API 使开发人员无需手动管理历史记录即可自动重建上下文，而不是要求开发人员在每次请求中传递整个对话历史记录。这些新的服务端点支持流媒体和非流媒体模式，在 Chat Completions API 中支持推理工作，并且只需要更改基本 URL 即可让开发人员集成到具有 OpenAI SDK 兼容性的现有代码库中。


支持推理工作的 Chat Completions 适用于由 Project Mantle 提供支持的所有 Amazon Bedrock 模型，Project Mantle 是一个新的分布式推理引擎，用于在 Amazon Bedrock 上提供大规模机器学习模型。Project Mantle 简化并加快了新模型在 Amazon Bedrock 上的上线，通过完善的服务质量控制提供高性能和可靠的无服务器推理，并通过自动容量管理和统一池解锁更高的默认客户配额，同时提供与 OpenAI API 规格的开箱即用兼容性。响应 API 支持现已上线，首批支持 OpenAI 的 GPT OSS 20B/120B 模型，其他模型的兼容即将推出。
要开始使用，请点击此处访问服务文档