La inferencia por lotes de Amazon Bedrock ahora es compatible con el formato de la API Converse
La inferencia por lotes de Amazon Bedrock ahora admite la API Converse como tipo de invocación de modelos, lo que permite utilizar un formato de entrada coherente e independiente del modelo para sus cargas de trabajo por lotes.
Anteriormente, la inferencia por lotes exigía formatos de solicitud específicos del modelo mediante la API InvokeModel. Ahora, al crear un trabajo de inferencia por lotes, puede seleccionar Converse como el tipo de invocación del modelo y estructurar los datos de entrada mediante el formato de solicitud estándar de la API Converse. La salida de los trabajos por lotes de Converse sigue el formato de respuesta de la API Converse. Con esta característica, puede usar el mismo formato de solicitud unificado para la inferencia en tiempo real y por lotes, lo que simplifica la gestión de peticiones y reduce el esfuerzo necesario para cambiar de modelo. Puede configurar el tipo de invocación del modelo Converse a través de la consola de Amazon Bedrock y la API.
Esta capacidad está disponible en todas las regiones de AWS que admiten la inferencia por lotes de Amazon Bedrock. Para empezar, consulte Crear un trabajo de inferencia por lotes y Formatear y cargar los datos de inferencia por lotes en la Guía del usuario de Amazon Bedrock.