Evaluasi Amazon Bedrock AgentCore sekarang tersedia secara umum
Evaluasi Amazon Bedrock AgentCore sekarang tersedia secara umum, menyediakan penilaian kualitas otomatis untuk agen AI. Evaluasi memungkinkan developer untuk memantau kualitas agen melalui evaluasi berkelanjutan lalu lintas produksi, memvalidasi perubahan melalui alur kerja pengujian, dan mengukur kinerja agen terhadap harapan yang ditentukan. Evaluasi AgentCore menawarkan dua jenis evaluasi. Evaluasi online terus memantau kinerja agen dalam produksi dengan mengambil sampel dan menilai jejak langsung. Evaluasi sesuai permintaan memungkinkan tim untuk menguji agen secara terprogram, mendukung pengujian regresi dalam pipeline CI/CD dan alur kerja pengembangan interaktif.
Tim dapat mengevaluasi agen menggunakan 13 evaluator bawaan untuk kualitas respons, keamanan, penyelesaian tugas, dan penggunaan tool. Developer juga dapat menggunakan Ground Truth untuk mengukur kinerja agen terhadap harapan, termasuk jawaban referensi untuk validasi respons, pernyataan perilaku untuk tujuan tingkat sesi, dan urutan eksekusi tool yang diharapkan. Untuk persyaratan khusus domain, tim dapat mengonfigurasi evaluator khusus menggunakan prompt dan model pilihan mereka untuk evaluasi berbasis LLM, atau menerapkan logika khusus dalam Python atau JavaScript melalui fungsi yang di-hosting Lambda untuk evaluasi berbasis kode. Evaluasi terintegrasi dengan Observabilitas AgentCore untuk monitoring terpadu dan peringatan real-time.
AgentCore Evaluations tersedia di sembilan AWS Region: AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (Oregon), Asia Pasifik (Mumbai), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Eropa (Frankfurt), Eropa (Irlandia).
Pelajari selengkapnya tentang Evaluasi Amazon Bedrock AgentCore melalui dokumentasi, dan mulailah dengan AgentCore Starter Toolkit