Amazon Bedrock теперь поддерживает API Responses от OpenAI
Amazon Bedrock теперь поддерживает API-интерфейс Responses на новых сервисных адресах, совместимых с API OpenAI. Интерфейс API Responses позволяет разработчикам использовать асинхронный логический вывод для длительных рабочих нагрузок, упрощает интеграцию инструментов для агентных рабочих процессов, а также поддерживает беседы с сохранением состояния. Разработчикам больше не нужно передавать всю историю бесед в каждом запросе. Вместо этого API Responses позволит им автоматически создавать контекст заново без необходимости управлять историей вручную. Новые сервисные адреса способны работать как в режиме потоковой передачи, так и без нее, поддерживают регулирование интенсивности рассуждений в API Chat Completions, и разработчикам достаточно просто изменить базовый URL-адрес для интеграции с имеющимися базами кода и совместимости с пакетом средств разработки ПО (SDK) OpenAI.
Поддержка Chat Completions с регулированием интенсивности рассуждений доступна для всех моделей Amazon Bedrock на базе Project Mantle, нового механизма распределенного логического вывода для крупномасштабной модели машинного обучения на базе Amazon Bedrock. Система Project Mantle упрощает и ускоряет внедрение в Amazon Bedrock новых моделей, обеспечивает высокопроизводительный и надежный бессерверный логический вывод с изощренными средствами контроля качества обслуживания, позволяет использовать более высокие клиентские квоты по умолчанию с автоматическим управлением ресурсами и унифицированными пулами, а также изначально совместима со спецификациями API OpenAI. Поддержка API Responses на сегодняшний день доступна начиная с моделей OpenAI GPT OSS 20B/120B. Поддержка других моделей ожидается в ближайшее время.
Для начала ознакомьтесь с документацией сервиса