이제 Amazon Bedrock이 OpenAI의 Responses API를 지원
이제 Amazon Bedrock이 새로운 OpenAI API 호환 서비스 엔드포인트에서 Responses API를 지원합니다. Responses API를 사용하면 개발자가 장기 실행 추론 워크로드에 대한 비동기식 추론을 수행하고, 에이전트 워크플로에 대한 도구 사용 통합을 간소화하고, 상태 저장 대화 관리를 지원할 수 있습니다. Responses API는 개발자가 각 요청과 함께 전체 대화 기록을 전달하도록 요구하는 대신 수동 기록 관리 없이 컨텍스트를 자동으로 재구축할 수 있도록 합니다. 이러한 신규 서비스 엔드포인트는 스트리밍 모드와 비스트리밍 모드를 모두 지원하고, Chat Completions API 내에서 추론 작업을 지원하며, OpenAI SDK 호환성을 갖춘 기존 코드베이스 내에 통합하기 위해 개발자는 기본 URL만 변경하면 됩니다.
추론 작업을 지원하는 Chat Completions는 Amazon Bedrock에서 제공되는 대규모 기계 학습 모델을 위한 새로운 분산 추론 엔진인 Project Mantle을 기반으로 하는 모든 Amazon Bedrock 모델에서 사용 가능합니다. Project Mantle은 Amazon Bedrock에 새 모델을 온보딩하는 작업을 간소화 및 가속화하고, 정교한 서비스 품질 제어를 통해 고성능의 신뢰할 수 있는 서버리스 추론을 제공하며, 자동화된 용량 관리 및 통합 풀을 통해 더 높은 기본 고객 할당량을 확보하고, OpenAI API 사양과의 기본 호환성을 제공합니다. Responses API 지원은 현재 OpenAI의 GPT OSS 20B/120B 모델을 시작으로 제공되며 다른 모델도 곧 지원할 예정입니다.
시작하려면 서비스 설명서를 확인하세요.