Publié le: May 17, 2024
Nous sommes ravis d'annoncer que les bases de connaissances (KB) pour Amazon Bedrock vous permettent désormais de configurer des paramètres d'inférence afin de mieux contrôler la personnalisation des réponses générées par le modèle de fondation (FM).
Avec cette nouveauté, vous pouvez, si vous le souhaitez, définir des paramètres d'inférence afin de définir des paramètres tels que le caractère aléatoire et la longueur de la réponse générée par le modèle de fondation. Vous pouvez contrôler le caractère aléatoire ou diversifié du texte généré en ajustant quelques paramètres, tels que la température et le pic de performance. Le réglage de la température rend le modèle plus ou moins susceptible de choisir des mots inhabituels ou inattendus. Une valeur basse pour la température génère des choix de mots attendus et plus courants. Le paramètre de pic de performance limite le nombre d'options de mots prises en compte par le modèle. Si cette valeur est basse, elle limite la prise en compte à un choix de mots plus restreint, ce qui rend le résultat plus conventionnel.
Outre le caractère aléatoire et la diversité, vous pouvez limiter la longueur du résultat du modèle de fondation via maxTokens et stopsequences. Vous pouvez utiliser le paramètre maxTokens pour spécifier le nombre minimum ou maximum de jetons à renvoyer dans la réponse générée. Enfin, le paramètre stopsequences vous permet de configurer des chaînes qui servent de contrôle pour que le modèle cesse de générer d'autres jetons.
Les paramètres d'inférence des bases de connaissances sont désormais disponibles dans les régions Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Europe (Francfort), USA Est (Virginie du Nord) et USA Ouest (Oregon). Pour en savoir plus, consultez la documentation relative aux bases de connaissances pour Amazon Bedrock. Pour commencer, rendez-vous sur la console Amazon Bedrock ou utilisez l’API RetrieveAndGenerate.