La optimización avanzada de peticiones de Amazon Bedrock ahora admite el acortamiento de peticiones
La optimización avanzada de peticiones de Amazon Bedrock ahora admite el acortamiento de peticiones, una configuración opcional que reduce la duración de la petición y, al mismo tiempo, mantiene o mejora las puntuaciones de las evaluaciones. La optimización avanzada de peticiones optimiza las peticiones de cualquier modelo de Amazon Bedrock en función de sus propios criterios de evaluación. Hasta ahora, la optimización se centraba únicamente en la calidad. Las peticiones optimizadas solían ser más largas que las originales. Las peticiones más largas aumentan los costos de los tokens de entrada y pueden aumentar el tiempo hasta el primer token, lo cual es importante a escala y en aplicaciones sensibles a la latencia.
Cuando activa el acortamiento de las peticiones para una plantilla de peticiones en su conjunto de datos de entrada, el optimizador reduce la longitud de la petición. La petición optimizada solo se devuelve cuando es más corta que la petición original y obtiene una puntuación al menos igual de alta en la evaluación. De lo contrario, se devuelve la petición original, por lo que la configuración nunca da como resultado una petición más larga ni una puntuación más baja. Los resultados incluyen una relación de compresión y los recuentos de tokens originales y optimizados, en el archivo de salida y en la página de resultados de la consola. Por ejemplo, una relación de compresión de 0,7 significa que la petición optimizada utiliza un 30 % menos de tokens. El acortamiento de la petición funciona con cualquier método de evaluación, incluidos los criterios rectores, las rúbricas de LLM como juez y los evaluadores Lambda personalizados.
El acortamiento de la petición está disponible en todas las regiones de AWS en las que está disponible la optimización avanzada de peticiones. Para empezar, habilite el acortamiento de peticiones para una plantilla de peticiones en su conjunto de datos de entrada y cree un trabajo de optimización como de costumbre. Para obtener más información, consulte Acortar peticiones en la Guía del usuario de Amazon Bedrock, la página de precios de Amazon Bedrock y la página de productos de Amazon Bedrock.