Amazon Bedrock presenta una herramienta avanzada de optimización de peticiones y migración
Los clientes dedican días o semanas a optimizar las peticiones y evaluar las respuestas cuando quieren migrar a un nuevo modelo o simplemente obtener un mejor rendimiento de su modelo actual. Tienen dificultades para cambiar las peticiones rápidamente y luego probarlas a fin de evitar regresiones y mejorar las tareas de bajo rendimiento. Estas situaciones requieren la misma herramienta: un optimizador de peticiones con evaluaciones integradas.
Hoy, Amazon Bedrock presenta la Optimización avanzada de peticiones, una nueva herramienta que permite a los clientes optimizar las peticiones para cualquier modelo de Bedrock y, al mismo tiempo, comparar las peticiones originales con las optimizadas en hasta 5 modelos simultáneamente. Los clientes pueden usar esto si están migrando a un nuevo modelo o simplemente quieren obtener un mejor rendimiento en su modelo actual. Si cambian de modelo, pueden seleccionar el modelo actual como base de referencia y hasta otros 4. De lo contrario, simplemente seleccionan el modelo actual para consultarlo antes y después de la optimización. El optimizador recibe plantillas de peticiones, ejemplos de entradas de usuario para los valores de las variables, respuestas correctas de referencia opcionales y una métrica de evaluación o criterios breves en lenguaje natural para usarlos como guía. Incluso es compatible con entradas multimodales, como JPG, PNG o PDF. El optimizador de peticiones funciona en un ciclo de retroalimentación para dirigir las peticiones y las respuestas del modelo hacia la optimización de la métrica de evaluación, y genera las plantillas de peticiones originales y finales con las puntuaciones de las evaluaciones, las estimaciones de costos y la latencia.
Para conocer la disponibilidad por región, consulte nuestra documentación. Para conocer los precios, consulte la página de precios de Bedrock. Para empezar, utilice las API de Bedrock para consultar sobre el Optimizador avanzado de peticiones o visite la Consola de Bedrock.