- AI Generatif›
- Amazon Bedrock›
- Optimisasi Biaya
Optimalkan biaya, latensi, dan akurasi
Tingkatkan akurasi dan kinerja sambil mengendalikan biaya dengan alat untuk mengevaluasi dan mengoptimalkan AI
Jangan pernah korbankan kinerja
Amazon Bedrock membantu Anda mencapai keseimbangan yang tepat antara biaya, latensi, dan akurasi—sehingga aplikasi AI generatif Anda bekerja secara efisien tanpa pengeluaran berlebihan. Dengan fitur-fitur seperti Distilasi Model, Perutean Prompt Cerdas, caching prompt, serta opsi inferensi fleksibel termasuk throughput on-demand, batch, dan provisioned, Amazon Bedrock memberi Anda kontrol untuk mengoptimalkan berbagai kasus penggunaan dan skala dengan percaya diri. Baik Anda melayani beban kerja real-time atau batch, Amazon Bedrock memungkinkan Anda membangun sistem AI yang lebih cerdas, lebih ramping, dan lebih hemat biaya.
Tingkatkan performa. Kurangi biaya.
Gunakan caching prompt untuk mengurangi biaya hingga 90% dan latensi hingga 85% untuk model yang didukung
Banyak kasus penggunaan model fondasi (FM) akan menggunakan kembali bagian tertentu dari prompt (prefiks) di seluruh panggilan API. Dengan caching prompt, model yang didukung akan memungkinkan Anda untuk meng-cache prefiks prompt berulang ini di antara permintaan. Cache ini memungkinkan model melewati komputasi ulang prefiks yang sama.
- Tingkatkan performa untuk banyak kasus penggunaan
- Cache bagian yang relevan dari prompt Anda untuk menghemat biaya token input
- Integrasikan dengan fitur Amazon Bedrock lainnya untuk mempercepat tugas multi-langkah atau prompt sistem yang lebih panjang untuk membantu memperbaiki perilaku agen tanpa memperlambat respons Anda
Percepat rekayasa prompt untuk aplikasi AI generatif
Manajemen Prompt Amazon Bedrock menyederhanakan proses pembuatan, evaluasi, penentuan versi, dan eksekusi prompt untuk membantu developer mendapatkan respons terbaik dari FM sesuai dengan kasus penggunaan mereka.
- Manajemen Prompt memungkinkan Anda menguji berbagai FM, konfigurasi, alat, dan instruksi
- Optimisasi prompt di Manajemen Prompt secara otomatis menulis ulang prompt guna meningkatkan akurasi dan memberikan tanggapan yang lebih ringkas dari FM
- Uji prompt dengan FM terbaru secara instan tanpa perlu melakukan deployment
- Buat aplikasi AI generatif dengan cepat dan berkolaborasi dalam pembuatan prompt di Studio Terpadu Amazon SageMaker
Maksimalkan kinerja dengan biaya lebih rendah dengan Perutean Prompt Cerdas
Perutean Prompt Cerdas Amazon Bedrock mengarahkan prompt ke berbagai FM dalam satu keluarga model, sehingga membantu Anda mengoptimalkan kualitas respons dan biaya. Perutean Prompt Cerdas dapat mengurangi biaya hingga 30% tanpa mengorbankan akurasi.
- Amazon Bedrock akan secara dinamis merutekan permintaan ke model yang diprediksi mempunyai kemungkinan terbesar untuk memberikan respons yang diinginkan dengan biaya terendah
- Kurangi upaya pengembangan Anda dan uji model yang berbeda, serta buat alur kerja orkestrasi yang kompleks dengan memilih perute prompt default yang disediakan oleh Amazon Bedrock, atau dengan mengonfigurasi perute Anda sendiri
- Debug dengan mudah dengan permintaan yang dapat dilacak sepenuhnya
Model yang didistilasi di Amazon Bedrock lebih cepat hingga 500% dan lebih murah hingga 75% daripada model asli, dengan hilangnya akurasi kurang dari 2% untuk kasus penggunaan seperti RAG
Gunakan model yang lebih kecil, lebih cepat, dan lebih hemat biaya yang memberikan akurasi khusus kasus penggunaan—sebanding dengan model paling canggih di Amazon Bedrock.
Sempurnakan model 'pelajar' menggunakan model 'pengajar' yang memiliki akurasi yang Anda inginkan.
- Maksimalkan kinerja model yang didistilasi dengan sintesis data kepemilikan
- Kurangi biaya dengan membawa data produksi Anda. Distilasi Model memungkinkan Anda memberikan prompt, lalu menggunakannya untuk menghasilkan respons sintetis dan menyempurnakan model pelajar
- Tingkatkan akurasi prediksi pemanggilan fungsi untuk agen. Aktifkan model yang lebih kecil untuk memprediksi pemanggilan fungsi secara akurat untuk membantu memberikan waktu respons yang jauh lebih cepat dan biaya operasional yang lebih rendah
Apakah Anda sudah menemukan yang Anda cari?
Beri tahu kami agar kami dapat meningkatkan kualitas konten di halaman kami