Perutean Prompt Cerdas Amazon Bedrock

Memahami kueri mana yang membutuhkan model yang lebih canggih atau dapat bekerja dengan model yang lebih kecil, lebih cepat, dan lebih murah merupakan tantangan bagi para developer. Menggunakan teknik pencocokan prompt dan pemahaman model yang canggih, Perutean Prompt Cerdas memprediksi performa setiap model untuk setiap permintaan dan secara dinamis merutekan setiap permintaan ke model yang diprediksi akan memberikan respons yang diinginkan dengan biaya terendah. Anda dapat mengonfigurasi router prompt menggunakan dua model dari keluarga yang sama dengan Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B, dan 3.3 70B ), serta Amazon Nova (Nova Lite dan Nova Pro).

Untuk mencapai performa dan biaya yang diinginkan untuk aplikasi, Anda harus sering mengembangkan alur kerja orkestrasi yang kompleks, merutekan setiap permintaan ke model yang paling sesuai untuk permintaan tersebut berdasarkan pengalaman untuk mencapai performa yang diinginkan dalam hal akurasi. Dengan Perutean Prompt Cerdas, Anda dapat menghemat waktu berbulan-bulan dalam upaya untuk menguji model yang berbeda dan membuat alur kerja orkestrasi yang rumit dengan memilih router prompt default yang disediakan oleh Amazon Bedrock, atau dengan mengonfigurasi sendiri. Anda dapat secara mudah mengonfigurasi router dengan memilih dua model dari keluarga model, lalu mengonfigurasi kriteria perutean untuk router Anda.

Setiap permintaan dapat dilacak sepenuhnya, memungkinkan Anda untuk mengidentifikasi model mana yang menangani setiap permintaan dan memungkinkan Anda untuk dengan mudah memahami dan melakukan debug setiap masalah.