Publicado en: May 17, 2024
Nos complace anunciar que las bases de conocimiento (KB) de Amazon Bedrock ahora le permiten configurar los parámetros de inferencia para tener un mayor control sobre la personalización de las respuestas generadas por un modelo fundacional (FM).
Con este lanzamiento, puede establecer opcionalmente parámetros de inferencia para definir parámetros como la aleatoriedad y la longitud de la respuesta generada por el modelo fundacional. Puede controlar qué tan aleatorio o diverso es el texto generado mediante algunos ajustes, como temperature (temperatura) y top-p (p superior). El ajuste temperature (temperatura) aumenta o reduce la posibilidad de que el modelo elija palabras inusuales o inesperadas. Un valor de temperatura más bajo genera opciones de palabras esperadas y más comunes. El ajuste top-p (p superior) limita la cantidad de opciones de palabras que tiene en cuenta el modelo. La reducción de este número restringe la consideración a un conjunto más pequeño de opciones de palabras y hace que el resultado sea más convencional.
Además de la aleatoriedad y la diversidad, puede restringir la longitud de la salida del modelo básico mediante maxTokens y stopsequences. Puede usar el ajuste maxTokens para especificar la cantidad mínima o máxima de tokens que se devolverán en la respuesta generada. Por último, el ajuste stopsequences le permite configurar cadenas que sirven como control para que el modelo deje de generar más tokens.
La capacidad de parámetros de inferencia de las bases de conocimiento ahora está disponible en las regiones de Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Europa (Fráncfort), Este de EE. UU. (Norte de Virginia) y Oeste de EE. UU. (Oregón). Para obtener más información, consulte la documentación de las bases de conocimiento para Amazon Bedrock. Para empezar, visite la consola de Amazon Bedrock o utilice la API RetrieveAndGenerate.