Funktionen zur Optimierung der Agentenleistung in Amazon Bedrock AgentCore als Vorschauversion verfügbar
Amazon Bedrock AgentCore veröffentlicht Empfehlungen und zwei Methoden zur Leistungsvalidierung (Batch-Bewertungen und A/B-Tests). Damit ist der Beobachtungs-, Evaluierungs- und Verbesserungsprozess für KI-Agenten in der Produktion abgeschlossen. Bisher erforderte die Umsetzung der Evaluierungsergebnisse in konkrete, validierte Verbesserungen manuelles Eingreifen und die Intuition der Entwickler und folgte weniger einem systematischen Ansatz. Mit Empfehlungen, Batch-Evaluierungen und A/B-Tests verfügen Entwickler nun über die Tools, um auf die Ergebnisse der Evaluierungen reagieren zu können.
Wenn sich Modelle weiterentwickeln und sich das Benutzerverhalten ändert, verschlechtert sich die Qualität der Agenten schleichend. Die Empfehlungsfunktion analysiert Produktionstraces und von AgentCore generierte Evaluationsergebnisse, um optimierte System-Prompts und Toolbeschreibungen zu erstellen, die auf Ihre spezifische Workload zugeschnitten sind. Batch-Evaluierungen werden dann verwendet, um die Empfehlungen anhand vordefinierter Testfälle zu validieren. A/B-Tests validieren diese Empfehlungen außerdem durch kontrollierte A/B-Tests anhand vordefinierter Testsätze oder Live-Produktionsdatenverkehr, wobei die statistische Signifikanz gemeldet wird, bevor eine Änderung vorgeschlagen wird. Jede Empfehlung bedarf Ihrer Zustimmung, bevor sie ausgeliefert wird. Zusammen komplettieren diese Funktionen den Leistungsverbesserungszyklus für Agenten. Agenten werden nicht einfach ausgeführt, sondern werden nach Ihrer Maßgabe immer besser.
Sie können die Optimierungsfunktionen in allen AWS-Regionen verwenden, in denen AgentCore Evaluations verfügbar ist. Weitere Informationen finden Sie in der Dokumentation zu AgentCore.