Erweiterte Prompt-Optimierung von Amazon Bedrock unterstützt jetzt Prompt-Verkürzung
Die erweiterte Prompt-Optimierung von Amazon Bedrock unterstützt jetzt die Prompt-Verkürzung, eine optionale Einstellung, die die Länge Ihrer Prompts reduziert und gleichzeitig Ihre Bewertungsergebnisse beibehält oder verbessert. Die erweiterte Prompt-Optimierung optimiert Prompts für jedes Modell auf Amazon Bedrock anhand Ihrer eigenen Bewertungskriterien. Bisher konzentrierte sich die Optimierung ausschließlich auf die Qualität. Optimierte Prompts waren oft länger als das Original. Längere Prompts erhöhen die Kosten für Eingabe-Tokens und können die Zeit bis zum ersten Token verlängern, was bei großen Skalierungen und latenzempfindlichen Anwendungen von Bedeutung ist.
Wenn Sie die Prompt-Verkürzung für eine Prompt-Vorlage in Ihrem Eingabedatensatz aktivieren, reduziert der Optimierer die Länge der Prompts. Der optimierte Prompt wird nur zurückgegeben, wenn er kürzer als Ihr ursprünglicher Prompt ist und bei Ihrer Bewertung mindestens genauso gut abschneidet. Andernfalls wird Ihr ursprünglicher Prompt zurückgegeben, sodass Sie mit dieser Einstellung nie einen längere oder schlechter bewerteten Prompt erhalten. Zu den Ergebnissen gehören ein Komprimierungsverhältnis sowie die ursprüngliche und optimierte Token-Anzahl in der Ausgabedatei und auf der Ergebnisseite der Konsole. Beispielsweise bedeutet eine Komprimierungsrate von 0,7, dass der optimierte Prompt 30 % weniger Token verwendet. Die Prompt-Verkürzung funktioniert mit jeder Bewertungsmethode, einschließlich Lenkungskriterien, Rubriken von LLM-as-a-Judge und benutzerdefinierten Lambda-Evaluatoren.
Die Prompt-Verkürzung ist in allen AWS-Regionen verfügbar, in denen die erweiterte Prompt-Optimierung verfügbar ist. Aktivieren Sie die Prompt-Verkürzung zunächst für eine Prompt-Vorlage in Ihrem Eingabedatensatz und erstellen Sie wie gewohnt einen Optimierungsjob. Weitere Informationen finden Sie unter Prompt-Verkürzung im Amazon-Bedrock-Benutzerhandbuch, auf der Preisseite zu Amazon Bedrock und auf der Produktseite zu Amazon Bedrock.