Amazon SageMaker Clarify sekarang mendukung evaluasi model dasar
Evaluasi model dasar dengan SageMaker Clarify sekarang tersedia secara umum. Kemampuan ini membantu ilmuwan data dan insinyur pembelajaran mesin mengevaluasi, membandingkan, dan memilih model dasar berdasarkan berbagai kriteria di berbagai tugas yang berbeda dalam hitungan menit.
Pelanggan SageMaker memilih di antara ratusan model dasar untuk memberi daya pada aplikasi AI generatif mereka. Mereka mengevaluasi dan membandingkan model-model ini selama pemilihan model dan penyesuaian model untuk menentukan kecocokan optimal untuk kasus penggunaan mereka. Proses ini dapat memakan waktu berhari-hari mengidentifikasi tolok ukur yang relevan, mengonfigurasi alat evaluasi, dan melakukan evaluasi pada setiap model. Hasil yang diperoleh seringkali menantang untuk diterapkan pada kasus penggunaan spesifik mereka.
SageMaker Clarify menawarkan evaluasi otomatis dan manusia dengan hasil yang dapat ditafsirkan. Pelanggan dapat menggunakan kemampuan baru ini di Amazon SageMaker Studio untuk mengevaluasi LLM yang dihosting SageMaker atau menggunakan fmeval untuk mengevaluasi LLM apa pun. Mulailah dengan memanfaatkan kumpulan data prompt yang dikuratori yang disesuaikan untuk tugas-tugas seperti pembuatan teks, ringkasan, jawaban pertanyaan, dan klasifikasi. Sesuaikan parameter inferensi dan templat prompt dan bandingkan hasil pengaturan model yang berbeda. Perluas evaluasi dengan kumpulan data dan metrik prompt khusus. Evaluasi manusia memungkinkan pelanggan untuk menilai aspek yang lebih subjektif seperti kreativitas dan gaya. Setelah setiap evaluasi, pelanggan menerima laporan komprehensif, lengkap dengan visualisasi dan contoh, dan mengintegrasikannya ke dalam alur kerja SageMaker ML mereka.
Kemampuan ini tersedia di semua Wilayah AWS, kecuali Wilayah AWS GovCloud (AS), Wilayah China, Asia Pasifik (Hyderabad), Asia Pasifik (Melbourne), Kanada Barat (Calgary), Eropa (Zurich), Eropa (Stockholm), Eropa (Spanyol), Israel (Tel Aviv), Timur Tengah (UEA).
Untuk detail tambahan, lihat halaman produk, dokumentasi, dan halaman harga kami.