L’optimisation avancée des invites d’Amazon Bedrock prend désormais en charge le raccourcissement de prompt
L’optimisation avancée des invites d’Amazon Bedrock prend désormais en charge le raccourcissement de prompt, un paramètre facultatif qui réduit la longueur de votre prompt tout en maintenant ou en améliorant vos résultats d’évaluation. L’optimisation avancée des invites optimise les prompts pour n’importe quel modèle sur Amazon Bedrock en fonction de vos propres critères d’évaluation. Jusqu’à présent, l’optimisation se concentrait uniquement sur la qualité. Les instructions optimisées étaient souvent plus longues que les instructions d’origine. Des instructions plus longues augmentent le coût des jetons d’entrée et peuvent prolonger le délai d’obtention du premier jeton, ce qui est important à grande échelle et dans les applications sensibles à la latence.
Lorsque vous activez le raccourcissement de prompt pour un modèle de prompt dans votre jeu de données en entrée, l’optimiseur réduit la longueur de la prompt. La prompt optimisée n’est renvoyée que lorsqu’elle est plus courte que votre prompt d’origine et obtient un score au moins aussi élevé lors de votre évaluation. Dans le cas contraire, votre prompt initiale est renvoyée, de sorte que le paramètre ne vous laisse jamais avec une prompt plus longue ou moins bien notée. Les résultats incluent un taux de compression et le nombre de jetons d’origine et optimisé, dans le fichier de sortie et sur la page de résultats de la console. Par exemple, un taux de compression de 0,7 signifie que la prompt optimisée utilise 30 % de jetons en moins. Le raccourcissement de prompt fonctionne avec toutes les méthodes d’évaluation, y compris les critères de pilotage, les rubriques LLM-juge et les évaluateurs Lambda personnalisés.
Le raccourcissement de prompt est disponible dans toutes les Régions AWS où l’optimisation avancée des invites est disponible. Pour commencer, activez le raccourcissement de prompt d’un modèle de prompt dans votre jeu de données en entrée et créez une tâche d’optimisation comme d’habitude. Pour en savoir plus, consultez la section Raccourcir les prompts du Guide de l’utilisateur d’Amazon Bedrock, la page de tarification d’Amazon Bedrock et la page produit d’Amazon Bedrock.