Distilasi Model Amazon Bedrock sekarang tersedia secara umum
Distilasi Model adalah proses mentransfer pengetahuan dari model yang lebih mampu (pengajar) ke yang kurang mampu (pelajar) dengan tujuan untuk membuat model pelajar yang lebih cepat dan hemat biaya sebaik kinerja pengajar untuk kasus penggunaan tertentu. Dengan ketersediaan umum, kami sekarang menambahkan dukungan untuk model baru berikut: Amazon Nova Premier (pengajar) dan Nova Pro (pelajar), Claude 3.5 Sonnet v2 (pengajar), Llama 3.3 70B (pengajar) dan Llama 3.2 1B/3B (pelajar). Distilasi Model Amazon Bedrock kini memungkinkan model yang lebih kecil untuk secara akurat memprediksi panggilan fungsi untuk kasus penggunaan Agen sekaligus membantu memberikan waktu respons yang jauh lebih cepat dan biaya operasional yang lebih rendah. Model yang didistilasi di Amazon Bedrock lebih cepat hingga 500% dan lebih murah 75% daripada model asli, dengan hilangnya akurasi kurang dari 2% untuk kasus penggunaan seperti RAG. Selain kasus penggunaan RAG, Distilasi Model juga menambahkan dukungan untuk augmentasi data untuk kasus penggunaan Agen untuk prediksi panggilan fungsi.
Distilasi Model Amazon Bedrock menawarkan alur kerja tunggal yang mengotomatiskan proses yang diperlukan untuk menghasilkan tanggapan pengajar, menambahkan sintesis data untuk meningkatkan respons pengajar, dan kemudian melatih model pelajar. Distilasi Model Amazon Bedrock dapat memilih untuk menerapkan metode sintesis data berbeda yang paling cocok untuk kasus penggunaan Anda untuk membuat model distilasi yang kira-kira cocok dengan model lanjutan untuk kasus penggunaan tertentu.
Pelajari lebih lanjut di dokumentasi, situs web, dan blog kami.