Amazon Bedrock ahora admite la API de Responses de OpenAI
Amazon Bedrock ahora admite la API de Responses en los nuevos puntos de enlace de servicio compatibles con la API de OpenAI. La API de Responses permite a los desarrolladores lograr una inferencia asíncrona para cargas de trabajo de inferencia de larga duración, simplifica la integración del uso de herramientas para los flujos de trabajo de agentes y también admite la administración de conversaciones con estados. En lugar de exigir a los desarrolladores que pasen todo el historial de conversaciones con cada solicitud, la API de Responses permite reconstruir el contexto de forma automática sin necesidad de administrar el historial manualmente. Estos nuevos puntos de enlace de servicio admiten los modos de streaming y no streaming, habilitan el esfuerzo de razonamiento en la API de Chat Completions y solo requieren un cambio de URL base para que los desarrolladores puedan integrarlos en las bases de código existentes con compatibilidad con el SDK de OpenAI.
La compatibilidad con Chat Completions con soporte para el esfuerzo de razonamiento está disponible para todos los modelos de Amazon Bedrock con tecnología de Project Mantle, un nuevo motor de inferencia distribuida para modelos de machine learning a gran escala que funcionan en Amazon Bedrock. Project Mantle simplifica y acelera la incorporación de nuevos modelos en Amazon Bedrock, proporciona inferencias sin servidor de gran fiabilidad y alto rendimiento con controles sofisticados de calidad del servicio, permite límites de uso predeterminados más altos con una administración de capacidad automatizada y grupos unificados, además de compatibilidad lista para usar con las especificaciones de la API de OpenAI. La compatibilidad con la API de Responses ya está disponible a partir de los modelos GPT OSS 20B o 120B de OpenAI, y pronto será compatible con otros modelos.
Para comenzar, consulte la documentación del servicio aquí