Optimisasi Prompt Tingkat Lanjut Amazon Bedrock kini mendukung pemendekan prompt
Optimisasi Prompt Tingkat Lanjut Amazon Bedrock kini mendukung pemendekan prompt, pengaturan opsional yang mengurangi panjang prompt Anda sambil mempertahankan atau meningkatkan skor evaluasi Anda. Optimisasi Prompt Tingkat Lanjut mengoptimalkan prompt untuk model apa pun di Amazon Bedrock berdasarkan kriteria evaluasi Anda sendiri. Hingga saat ini, optimalisasi hanya berfokus pada kualitas. Prompt yang dioptimalkan seringkali lebih panjang daripada prompt aslinya. Prompt yang lebih panjang meningkatkan biaya token input dan dapat memperpanjang waktu hingga token pertama, yang penting dalam skala besar dan pada aplikasi yang sensitif terhadap latensi.
Saat Anda mengaktifkan pemendekan prompt untuk templat prompt dalam set data input Anda, pengoptimal akan mengurangi panjang prompt tersebut. Prompt yang dioptimalkan hanya akan dikembalikan jika lebih pendek dari prompt asli Anda dan mendapatkan skor setidaknya sama tingginya pada evaluasi Anda. Jika tidak, prompt asli Anda akan dikembalikan; dengan demikian, pengaturan ini tidak akan pernah membuat prompt Anda menjadi lebih panjang atau memiliki skor yang lebih rendah. Hasilnya mencakup rasio kompresi dan jumlah token asli serta yang telah dioptimalkan, baik dalam file output maupun pada halaman hasil konsol. Sebagai contoh, rasio kompresi 0,7 berarti prompt yang dioptimalkan menggunakan 30% lebih sedikit token. Pemendekan prompt dapat diterapkan pada metode evaluasi apa pun, termasuk kriteria pengarahan, rubrik LLM sebagai juri, dan evaluator Lambda khusus.
Pemendekan prompt tersedia di semua AWS Region tempat Optimisasi Prompt Tingkat Lanjut tersedia. Untuk memulai, aktifkan pemendekan prompt untuk templat prompt di set data input Anda dan buat tugas optimasi seperti biasa. Untuk mempelajari lebih lanjut, lihat Memperpendek prompt di Panduan Pengguna Amazon Bedrock, halaman harga Amazon Bedrock, dan halaman produk Amazon Bedrock.