Amazon SageMaker Model Monitor
Jaga agar model machine learning tetap akurat dari waktu ke waktu
Secara otomatis mendeteksi penyimpangan model dan data serta menerima pemberitahuan tentang prediksi yang tidak akurat sehingga Anda dapat mengambil tindakan korektif
Terintegrasi dengan Amazon SageMaker Clarify untuk membantu mengidentifikasi potensi bias dalam model ML setelah diterapkan ke produksi
Pengumpulan dan pemantauan data
Dengan Amazon SageMaker Model Monitor, Anda dapat memilih data yang ingin Anda pantau dan analisis tanpa perlu menulis kode apa pun. SageMaker Model Monitor memungkinkan Anda untuk memilih data dari menu opsi seperti output prediksi, serta menangkap metadata seperti stempel waktu, nama model, dan titik akhir, agar Anda dapat menganalisis prediksi model berdasarkan metadata tersebut. Anda dapat menentukan tingkat pengambilan sampel data yang diambil sebagai persentase dari keseluruhan lalu lintas pada kasus prediksi waktu nyata bervolume tinggi, dan data akan disimpan di bucket Amazon S3 Anda. Anda juga dapat mengenkripsi data ini, mengonfigurasi keamanan fine-grained, menentukan kebijakan retensi data, dan mengimplementasikan mekanisme kontrol akses untuk akses yang aman.
Analisis bawaan
Amazon SageMaker Model Monitor menawarkan analisis bawaan dalam bentuk aturan secara statistik, untuk mendeteksi penyimpangan kualitas data dan model. Anda juga dapat menulis aturan kustom dan menentukan ambang batas untuk setiap aturan. Aturan tersebut kemudian dapat digunakan untuk menganalisis performa model. SageMaker Model Monitor menjalankan aturan pada data yang dikumpulkan, mendeteksi anomali, dan mencatat pelanggaran aturan.
Visualisasi
Semua metrik yang dihasilkan oleh Amazon SageMaker Model Monitor dapat dikumpulkan dan ditampilkan di Amazon SageMaker Studio, agar Anda dapat menganalisis performa model secara visual tanpa perlu menulis kode tambahan. Anda tidak hanya dapat memvisualisasikan metrik, tetapi juga dapat menjalankan analisis ad hoc di instans notebook SageMaker untuk memahami model Anda dengan lebih baik.
Prediksi model yang sedang berlangsung
Amazon SageMaker Model Monitor memungkinkan Anda untuk menyerap data dari aplikasi ML untuk melakukan komputasi performa model. Data akan disimpan di Amazon S3 dan diamankan menggunakan kebijakan kontrol akses, enkripsi, dan retensi data.
Jadwal pemantauan
Anda dapat memantau model ML dengan menjadwalkan tugas pemantauan melalui Amazon SageMaker Model Monitor. Anda dapat memulai tugas pemantauan secara otomatis untuk menganalisis prediksi model selama periode waktu tertentu. Anda juga dapat memiliki beberapa jadwal di titik akhir SageMaker.
Integrasi dengan Amazon SageMaker Clarify
Amazon SageMaker Model Monitor terintegrasi dengan Amazon SageMaker Clarify untuk meningkatkan visibilitas ke dalam potensi bias. Meskipun data atau model awal Anda mungkin tidak bias, perubahan di dunia dapat menyebabkan bias terus berkembang seiring waktu pada model yang telah dilatih. Misalnya, perubahan substansial pada demografi pembeli rumah dapat menyebabkan model permohonan kredit rumah menjadi bias jika populasi tertentu tidak ada di dalam data pelatihan awal. Integrasi dengan SageMaker Clarify memungkinkan Anda mengonfigurasikan sistem pemberitahuan seperti Amazon CloudWatch untuk memberi tahu Anda, jika mulai timbul bias pada model Anda.
Laporan dan pemberitahuan
Laporan yang dihasilkan oleh tugas pemantauan dapat disimpan di Amazon S3 untuk analisis lebih lanjut. Amazon SageMaker Model Monitor menghasilkan metrik untuk Amazon CloudWatch tempat Anda dapat menggunakan notifikasi untuk memicu alarm atau tindakan perbaikan seperti melatih model lagi atau mengaudit data. Metrik mencakup informasi seperti aturan yang dilanggar dan informasi stempel waktu. SageMaker Model Monitor juga terintegrasi dengan alat visualisasi lainnya termasuk Tensorboard, Amazon QuickSight, dan Tableau.
Kasus penggunaan
Pencilan atau anomali
Gunakan Amazon SageMaker Model Monitor untuk mendeteksi ketika prediksi berada di luar rentang yang diperkirakan atau hampir menyentuh batas yang diperkirakan seperti nilai minimum atau maksimum. Misalnya, Anda mungkin memperkirakan suhu berada antara 65 °F - 75 °F sehingga hasil yang berada di luar batas adalah 50 °F. Hasil yang berada di luar batas tersebut akan diberitahukan sebagai sebuah anomali.
Penyimpangan data
Gunakan Amazon SageMaker Model Monitor untuk mendeteksi ketika prediksi mulai miring yang diakibatkan oleh kondisi di dunia nyata seperti pembacaan sensor yang tidak akurat karena sensor yang menua. Amazon SageMaker Model Monitor mendeteksi kemiringan data dengan membandingkan data di dunia nyata dengan set data dasar seperti set data pelatihan atau set data evaluasi.
Observasi dunia nyata
Sering kali, data baru diperkenalkan di dunia nyata sehingga Anda ingin dapat menyesuaikan model dengan cara memasukkan fitur baru ke akun. Misalnya, model mengemudi otonom perlu diperbarui untuk kendaraan otonom untuk mendeteksi objek baru di jalan. Amazon SageMaker Model Monitor mendeteksi observasi baru agar Anda dapat terus memperbarui model.