Amazon Bedrock AgentCore meluncurkan kemampuan untuk mengoptimalkan kinerja agen dalam versi pratinjau
Amazon Bedrock AgentCore meluncurkan rekomendasi dan dua cara untuk memvalidasi kinerja (evaluasi batch dan uji A/B). Ini melengkapi siklus observasi, evaluasi, dan peningkatan untuk agen AI dalam lingkungan produksi. Sampai saat ini, menerjemahkan temuan evaluasi menjadi perbaikan konkret dan tervalidasi membutuhkan intervensi manual dari pengembang dan intuisi, bukan pendekatan sistematis. Dengan rekomendasi, evaluasi kelompok, dan pengujian A/B, pengembang kini memiliki tool untuk menindaklanjuti hasil evaluasi yang muncul.
Seiring berkembangnya model dan pergeseran perilaku pengguna, kualitas agen akan menurun secara diam-diam dari waktu ke waktu. Fitur rekomendasi menganalisis jejak produksi dan output evaluasi yang dihasilkan oleh AgentCore untuk membuat prompt sistem yang dioptimalkan dan deskripsi tool yang disesuaikan dengan beban kerja spesifik Anda. Evaluasi batch kemudian digunakan untuk memvalidasi rekomendasi terhadap kasus uji yang telah ditentukan sebelumnya. Pengujian A/B lebih lanjut memvalidasi rekomendasi tersebut melalui pengujian A/B terkontrol terhadap kumpulan data uji yang telah ditentukan sebelumnya atau lalu lintas produksi langsung, dengan signifikansi statistik dilaporkan sebelum perubahan apa pun dipromosikan. Setiap rekomendasi memerlukan persetujuan Anda sebelum dikirim. Secara bersama-sama, kemampuan-kemampuan ini melengkapi siklus peningkatan kinerja bagi para agen. Agen tidak hanya sekadar bekerja, mereka juga menjadi lebih baik, sesuai dengan ketentuan Anda.
Anda dapat menggunakan kemampuan optimasi di semua AWS Region tempat AgentCore Evaluations tersedia. Untuk mempelajari lebih lanjut, kunjungi dokumentasi AgentCore.