Gambaran Umum

Pencocokan wajah Amazon Rekognition memungkinkan pembuat aplikasi untuk mengukur kesamaan antara gambar sebuah wajah dan gambar wajah kedua. Kartu Layanan AI ini mendeskripsikan pertimbangan untuk mencocokkan wajah secara bertanggung jawab dalam foto biasa dalam dokumen identifikasi dan di media (misalnya film, album foto, dan gambar “liar” yang diambil di lingkungan yang tidak terkontrol atau alami) menggunakan API CompareFaces dan SearchFaces kami. Biasanya, pelanggan menggunakan CompareFaces untuk membandingkan wajah sumber dengan wajah target (pencocokan 1:1) dan SearchFaces untuk membandingkan wajah sumber dengan kumpulan wajah target (pencocokan 1:N). Rekognition tidak menyediakan koleksi wajah yang sudah dibuat sebelumnya; pelanggan harus membuat dan mengisi koleksi wajah sendiri. Di Kartu ini, kami akan menggunakan "pencocokan wajah" untuk merujuk ke API CompareFaces dan API SearchFaces Rekognition.

Sepasang gambar wajah dikatakan memiliki "kecocokan sejati" jika keduanya berisi wajah orang yang sama, dan memiliki "ketidakcocokan sejati" jika sebaliknya. Dalam mencocokkan pasangan input gambar "sumber" dan "target", Rekognition mengembalikan skor untuk kesamaan wajah sumber di gambar sumber dengan wajah target di gambar target. Skor kesamaan minimum adalah 0, yang menunjukkan kesamaan yang sangat rendah, dan maksimum adalah 100, yang menunjukkan kesamaan yang sangat tinggi. Rekognition tidak secara mandiri memutuskan bahwa dua wajah dari gambar memiliki kecocokan sejati atau ketidakcocokan sejati; alur kerja pelanggan yang memanggil CompareFaces dan/atau SearchFaces memutuskan dengan menggunakan logika otomatis (dengan menetapkan ambang batas kesamaan antara 0 dan 100 dan memprediksi kecocokan sejati jika skor kesamaan melebihi ambang batas), penilaian manusia, atau kombinasi keduanya.

Wajah manusia berbeda secara fisik, seperti warna kulit dan geometri. Namun, setiap individu dapat diwakili oleh gambar yang berbeda, dan sebaliknya, individu yang berbeda dapat diwakili oleh gambar yang sangat mirip. Misalnya dua orang yang hanya memiliki perbedaan bentuk mata mungkin terlihat sama jika memakai kacamata hitam yang sama. Hal ini karena ada banyak faktor yang mungkin muncul (disebut "variasi perancu") dan menyatu untuk mengubah lokasi dan warna piksel gambar yang mewakili wajah. Faktor-faktor perancu tersebut meliputi (1) distribusi arah pencahayaan, intensitas, dan panjang gelombang; (2) pose kepala; (3) fokus kamera dan cacat pencitraan; (4) resolusi piksel; (5) gambar yang tertutup oleh tangan, rambut wajah, rambut kepala, ponsel, lidah yang menonjol, syal, kacamata, topi, perhiasan, atau benda lain; (6) ekspresi wajah (seperti netral atau mata terbuka); dan (7) perubahan pada warna kulit (misalnya dengan riasan, cat wajah, sengatan matahari, atau jerawat). Skor kesamaan Rekognition dirancang agar rendah untuk gambar wajah individu yang berbeda dan tinggi untuk gambar wajah yang sama, dengan mengabaikan variasi perancu. Rekognition hanya menggunakan informasi yang tersedia dalam gambar sumber dan target untuk menilai kesamaan gambar wajah manusia.

Kasus dan batasan penggunaan yang dimaksudkan

Pencocokan wajah Rekognition hanya dimaksudkan untuk membandingkan wajah manusia. Fitur ini tidak mendukung pengenalan wajah kartun, karakter animasi, atau entitas yang bukan manusia. Fitur ini juga tidak mendukung penggunaan gambar wajah yang terlalu buram dan kasar sehingga sulit dikenali oleh manusia, atau yang sebagian besar bagiannya tertutupi oleh rambut, tangan, dan benda-benda lainnya. Selain itu, AWS telah menerapkan moratorium penggunaan Rekognition::CompareFaces dan Rekognition::API SearchFaces oleh polisi sebagai bagian dari investigasi kriminal (lihat bagian 50.9 dalam Ketentuan Penggunaan Layanan AWS untuk informasi selengkapnya).

Pencocokan wajah Rekognition memungkinkan banyak aplikasi, seperti mengidentifikasi anak-anak yang hilang, memberikan akses ke gedung atau suite hotel untuk konferensi, memverifikasi identitas secara online, dan mengatur perpustakaan foto pribadi. Aplikasi ini bervariasi berdasarkan jumlah individu yang terlibat, jumlah gambar berbeda yang tersedia untuk setiap individu, jumlah variasi perancu yang diharapkan, biaya relatif dari kecocokan palsu dan ketidakcocokan palsu, dan faktor lainnya. Kami mengelompokkan aplikasi ini menjadi dua kasus penggunaan yang luas.

Kasus penggunaan verifikasi identitas: Aplikasi verifikasi identitas menggunakan pencocokan wajah untuk memasukkan pengguna baru dan memberi pengguna yang sudah ada akses ke sumber daya. Dalam kasus penggunaan ini, variasi perancu biasanya diminimalkan dengan menggunakan foto dari ID yang dikeluarkan pemerintah (seperti paspor dan SIM) dan selfie waktu nyata yang mendukung pose wajah menghadap depan yang terang dan tidak kabur. Hal ini memungkinkan setiap individu dalam koleksi target diwakili oleh sejumlah kecil gambar wajah dan memungkinkan individu yang berbeda dalam jumlah yang besar di koleksi (misalnya berjumlah jutaan). Dalam kasus penggunaan ini, pengguna akhir tertentu mungkin mencoba menipu sistem untuk mendapatkan akses, sehingga pelanggan dapat mengurangi risiko ini dengan, misalnya, memeriksa secara manual apakah gambar sumber dan target yang dikirimkan ke Rekognition memenuhi harapan pelanggan, dan/atau mengharuskan kecocokan memiliki skor kesamaan yang tinggi (misalnya 95).

Kasus penggunaan media: Aplikasi media menggunakan pencocokan wajah untuk mengidentifikasi individu dalam foto dan video dari sekumpulan individu yang dikenal (misalnya menemukan anggota keluarga dalam video liburan). Dalam kasus penggunaan ini, banyak variasi perancu yang muncul di gambar sumber dan target dari individu yang sama, sehingga koleksi target mungkin berisi lebih sedikit individu dengan lebih banyak gambar per pengguna (mungkin mencakup kehidupan orang tersebut selama beberapa tahun). Insentif bagi pengguna akhir untuk mencoba menipu sistem lebih rendah dalam kasus penggunaan ini, sehingga pelanggan dapat memilih alur kerja yang sangat otomatis, dan mengingat banyaknya variasi perancu, memungkinkan kecocokan memiliki skor kesamaan yang lebih rendah (misalnya 80).

Pencocokan wajah Amazon Rekognition

Machine learning: Pencocokan wajah Rekognition dibangun menggunakan teknologi ML dan visi komputer. Cara kerja fitur ini adalah sebagai berikut: (1) Menemukan bagian dari gambar input yang berisi wajah. (2) Mengekstrak wilayah gambar yang berisi kepala, dan mensejajarkan wilayah sehingga wajah berada dalam posisi vertikal "normal", yang menghasilkan gambar wajah yang dipotong. (3) Mengubah setiap gambar wajah yang dipotong menjadi "vektor wajah" (secara teknis, representasi matematis dari gambar wajah). Perhatikan bahwa koleksi yang dicari oleh SearchFaces adalah kumpulan vektor wajah, bukan kumpulan gambar wajah. (4) Membandingkan vektor wajah sumber dan target, lalu mengembalikan skor kesamaan sistem untuk vektor wajah. Lihat dokumentasi developer untuk detail panggilan API.

Harapan kinerja: Variasi individu dan perancu berbeda di antara aplikasi pelanggan. Artinya kinerja juga akan berbeda antaraplikasi, bahkan jika aplikasi mendukung kasus penggunaan yang sama. Pertimbangkan dua aplikasi Verifikasi Identitas A dan B. Dengan cara kerja, pengguna pertama-tama mendaftarkan identitas mereka dengan gambar bergaya paspor, lalu memverifikasi identitas mereka menggunakan selfie waktu nyata. Aplikasi A memungkinkan akses ponsel cerdas dengan menggunakan kamera ponsel cerdas untuk menangkap selfie yang cukup terang, memiliki fokus yang baik, berpose di depan, beresolusi tinggi, dan tidak tertutupi. Aplikasi B memungkinkan akses gedung dengan menggunakan kamera pintu untuk menangkap selfie yang kurang terang, lebih kabur, dan memiliki resolusi lebih rendah. Karena A dan B memiliki jenis input yang berbeda, mereka kemungkinan akan memiliki tingkat kesalahan pencocokan wajah yang berbeda, bahkan dengan asumsi bahwa deploy setiap aplikasi dilakukan dengan sempurna menggunakan Rekognition.

Metodologi berbasis tes: Kami menggunakan beberapa set data untuk mengevaluasi kinerja. Tidak ada set data evaluasi tunggal yang memberikan gambaran mutlak kinerja. Alasannya set data evaluasi bervariasi berdasarkan susunan demografinya (jumlah dan jenis kelompok yang ditentukan), jumlah variasi perancu (kualitas konten, kesesuaian dengan tujuan), jenis dan kualitas label yang tersedia, dan faktor lainnya. Kami mengukur kinerja Rekognition dengan mengujinya pada set data evaluasi yang berisi pasangan gambar dari individu yang sama (pasangan yang cocok), dan pasangan gambar dari individu yang berbeda (pasangan yang tidak cocok). Kami menentukan ambang batas kesamaan, menggunakan Rekognition untuk menghitung skor kesamaan setiap pasangan, dan berdasarkan ambang batas, menentukan apakah pasangan itu cocok atau tidak cocok. Kinerja keseluruhan pada set data diwakili oleh dua angka: tingkat kecocokan sejati (persentase pasangan yang cocok dengan kesamaan di atas ambang batas) dan tingkat ketidakcocokan sejati (persentase pasangan yang tidak cocok dengan skor kesamaan di bawah ambang batas). Jika ambang batas kesamaan diubah, tingkat kecocokan sejati dan tingkat ketidakcocokan sejati akan berubah. Kelompok dalam set data dapat didefinisikan oleh atribut demografis (misalnya jenis kelamin), variabel perancu (misalnya ada tidaknya rambut wajah), atau kombinasi keduanya. Set data evaluasi bervariasi di antara faktor-faktor tersebut dan faktor lainnya. Karena itu, tingkat kecocokan sejati dan ketidakcocokan sejati – baik keseluruhan maupun untuk grup – bervariasi di setiap data set. Dengan mempertimbangkan variasi ini, proses pengembangan kami menyelidiki kinerja Rekognition menggunakan beberapa kumpulan data evaluasi, mengambil langkah-langkah untuk meningkatkan kecocokan sejati dan/atau ketidakcocokan sejati untuk grup tempat Rekognition berkinerja paling buruk, berupaya untuk meningkatkan rangkaian set data evaluasi, dan kemudian mengulangi.

Keadilan dan bias: Tujuan kami adalah agar pencocokan wajah Rekognition bekerja dengan baik untuk semua wajah manusia. Untuk mencapainya, kami menerapkan proses pengembangan berulang yang dijelaskan di atas. Sebagai bagian dari proses, kami menyusun set data yang menangkap beragam fitur wajah manusia dan warna kulit di bawah berbagai variasi perancu. Kami secara rutin menguji seluruh kasus penggunaan pada set data gambar wajah yang kami beri label demografis yang andal, seperti jenis kelamin, usia, dan warna kulit. Kami menemukan bahwa Rekognition memiliki performa baik di seluruh atribut demografis. Misalnya, iBeta, laboratorium terakreditasi NIST, melakukan evaluasi pihak ketiga terhadap Rekognition. Evaluasi menggunakan set data Verifikasi Identitas yang berisi gambar berkualitas tinggi dengan kondisi pencahayaan yang baik, tidak ada blur, dan tidak ada oklusi. Set data dibagi menjadi enam kelompok demografis berdasarkan warna kulit dan jenis kelamin. iBeta mengamati dengan pengaturan ambang kesamaan 95, tingkat kecocokan sejati terendah yang terlihat di keenam kelompok demografis adalah 99,97185% dan tingkat ketidakcocokan sejati terendah yang terlihat di keenam kelompok demografis adalah 99,99988%. Karena hasil performa bergantung pada berbagai faktor termasuk Rekognition, alur kerja pelanggan, dan set data evaluasi, sebaiknya pelanggan menjalankan pengujian Rekognition tambahan dengan menggunakan konten mereka sendiri.

Penjelasan: Jika pelanggan memiliki pertanyaan tentang nilai kesamaan yang dihasilkan oleh Rekognition untuk sepasang gambar sumber dan target tertentu, sebaiknya pelanggan menggunakan kotak pembatas dan informasi landmark wajah yang ditampilkan oleh Rekognition untuk memeriksa gambar wajah secara langsung.

Ketangguhan: Kami memaksimalkan ketangguhan dengan sejumlah teknik, termasuk menggunakan set data pelatihan besar yang menangkap berbagai jenis variasi dari banyak individu. Karena Rekognition tidak dapat memiliki sensitivitas yang sangat tinggi terhadap perbedaan kecil antara individu yang berbeda (seperti kembar identik) dan sensitivitas yang sangat rendah terhadap perubahan perancu (seperti riasan yang dipakai untuk mempercantik tulang pipi), pelanggan harus menetapkan harapan untuk tingkat kecocokan sejati dan ketidakcocokan sejati yang sesuai dengan kasus penggunaan mereka, dan menguji kinerja alur kerja, termasuk pilihan ambang batas kesamaan, pada konten mereka.

Privasi dan keamanan: Pencocokan wajah rekognition memproses tiga jenis data: gambar input pelanggan, vektor wajah gambar input, dan skor kesamaan output dan metadata output. Vektor wajah tidak pernah disertakan dalam output yang dikembalikan oleh layanan. Input dan output tidak akan dibagikan di antara pelanggan. Pelanggan dapat memilih tidak mengikuti pelatihan tentang konten pelanggan melalui AWS Organizations atau mekanisme pilihan tidak mengikuti lainnya yang mungkin kami sediakan. Lihat Bagian 50.3 dari Ketentuan Layanan AWS dan FAQ Privasi Data AWS untuk informasi selengkapnya. Untuk informasi privasi dan keamanan spesifik layanan, lihat bagian Privasi Data dari FAQ Rekognition dan dokumentasi Keamanan Amazon Rekognition.

Transparansi: Jika sesuai untuk kasus penggunaan mereka, pelanggan yang menyertakan API pencocokan wajah Amazon Rekognition dalam alur kerja mereka harus mempertimbangkan untuk mengungkapkan penggunaan ML dan teknologi pengenalan wajah kepada pengguna akhir dan individu lain yang terkena dampak aplikasi, serta memungkinkan pengguna akhir untuk memberikan umpan balik guna meningkatkan alur kerja. Dalam dokumentasi mereka, pelanggan juga dapat mereferensikan Kartu Layanan AI ini.

Tata kelola: Kami memiliki metodologi yang ketat untuk membangun layanan AI AWS dengan cara yang bertanggung jawab, termasuk proses pengembangan produk beralur mundur yang menggabungkan AI yang Bertanggung Jawab pada tahap desain, konsultasi desain, dan penilaian implementasi oleh pakar sains dan data khusus AI yang Bertanggung Jawab, pengujian rutin, peninjauan dengan pelanggan, pengembangan praktik terbaik, penyebaran informasi, dan pelatihan.

Praktik terbaik deployment dan pengoptimalan kinerja

Kami mendorong pelanggan untuk membangun dan mengoperasikan aplikasi mereka secara bertanggung jawab, seperti yang dijelaskan dalam panduan Penggunaan Machine Learning yang Bertanggung Jawab dari AWS. Hal ini termasuk menerapkan praktik AI yang bertanggung jawab untuk menangani dimensi utama termasuk keadilan dan bias, ketahanan, kemampuan menjelaskan, privasi dan keamanan, transparansi, dan tata kelola.
 
Desain Alur Kerja: Keakuratan aplikasi apa pun yang menggunakan pencocokan wajah Rekognition tergantung pada desain alur kerja pelanggan, termasuk: (1) jumlah individu unik yang dicocokkan, (2) jumlah variasi perancu yang diizinkan, (3) pemilihan ambang batas kesamaan, (4) cara kecocokan diputuskan, (5) seberapa konsisten alur kerja diterapkan di seluruh kelompok demografis, dan (6) pengujian ulang berkala untuk mengatasi penyimpangan.
 
  1. Variasi individu: Saat mencari wajah sumber di antara kumpulan wajah target, keberhasilan meningkat dengan tingkat perbedaan fisik antara individu yang berbeda dalam set target. Misalnya pencocokan antara kembar identik jauh lebih sulit daripada pencocokan antara kembar fraternal atau individu yang tidak terkait. Secara umum, koleksi target dengan lebih banyak jumlah individu unik meningkatkan risiko memiliki dua individu unik yang tampak serupa, dan membutuhkan perhatian yang lebih tinggi ketika membuat keputusan akhir terkait pencocokan. Alur kerja harus mempertimbangkan kemungkinan kesamaan individu dalam koleksi target saat menafsirkan skor kesamaan yang dikembalikan untuk gambar sumber.

  2. Variasi perancu: Saat memilih pasangan gambar sumber dan target, alur kerja harus meliputi langkah-langkah untuk meminimalkan variasi antara gambar sumber dan target (seperti perbedaan kondisi pencahayaan). Jika variasinya tinggi, pertimbangkan untuk menambahkan beberapa gambar wajah ("opsi") untuk setiap individu target yang mencakup variasi yang diharapkan (seperti pose, pencahayaan, dan usia), dan membandingkan gambar wajah sumber dengan setiap opsi target. Jika hanya memiliki satu opsi demi kepraktisan, pertimbangkan untuk menggunakan headshot bergaya paspor, menghadap ke depan, dan tidak tertutupi. Alur kerja harus menetapkan kebijakan untuk gambar input yang diizinkan, dan memantau kepatuhan dengan mengambil sampel input secara berkala dan acak.

  3. Ambang batas kesamaan: Penting untuk menetapkan ambang batas kesamaan yang sesuai untuk aplikasi. Jika tidak, alur kerja dapat menyimpulkan bahwa ada kecocokan saat sebenarnya tidak ada (kecocokan palsu) atau sebaliknya (ketidakcocokan palsu). Biaya kecocokan palsu mungkin tidak sama dengan biaya ketidakcocokan palsu. Misalnya ambang batas kesamaan yang sesuai untuk autentikasi mungkin jauh lebih tinggi daripada untuk media. Untuk mengatur ambang batas kesamaan yang tepat, pelanggan harus mengumpulkan set pasangan input yang representatif, melabeli masing-masing sebagai cocok atau tidak cocok, dan menguji ambang batas kesamaan yang lebih tinggi atau lebih rendah hingga hasil yang diharapkan tercapai.

  4. Pengawasan manusia: Jika alur kerja aplikasi pelanggan melibatkan kasus penggunaan yang berisiko tinggi atau sensitif, seperti keputusan yang berdampak pada hak individu atau akses ke layanan penting, peninjauan manusia harus dimasukkan ke alur kerja aplikasi jika sesuai. Sistem pencocokan wajah dapat berfungsi sebagai alat untuk mengurangi upaya dari solusi yang sepenuhnya manual, dan agar manusia meninjau serta menilai kecocokan dan ketidakcocokan dengan cepat.

  5. Konsistensi: Pelanggan harus menetapkan dan menegakkan kebijakan untuk jenis gambar sumber dan target yang diizinkan, dan untuk cara manusia menggabungkan penggunaan ambang batas kesamaan dan penilaian mereka sendiri dalam menentukan kecocokan. Kebijakan ini harus konsisten di semua kelompok demografis. Modifikasi gambar sumber dan target, atau ambang batas kesamaan secara tidak konsisten dapat mengakibatkan hasil yang tidak adil bagi kelompok demografis yang berbeda.

  6. Penyimpangan kinerja: Perubahan jenis gambar yang dikirimkan pelanggan ke Rekognition, atau perubahan pada layanan, dapat berujung pada output yang berbeda. Untuk mengatasi perubahan ini, pelanggan harus mempertimbangkan untuk menguji ulang kinerja Rekognition secara berkala, dan menyesuaikan alur kerja mereka bila perlu.

Informasi lebih lanjut

  • Jika Anda memiliki pertanyaan atau umpan balik tentang kartu layanan AI AWS, lengkapi formulir ini.

Glosarium

Keadilan dan Bias merujuk pada cara sistem AI memengaruhi subpopulasi pengguna yang berbeda (misalnya berdasarkan jenis kelamin, etnis).

Kemampuan Menjelaskan merujuk pada memiliki mekanisme untuk memahami dan mengevaluasi output dari sistem AI.

Ketahanan merujuk pada memiliki mekanisme untuk memastikan sistem AI beroperasi dengan andal.

Privasi dan Keamanan merujuk pada data yang dilindungi dari pencurian dan paparan.

Tata Kelola merujuk pada proses untuk menentukan, menerapkan, dan menegakkan praktik AI yang bertanggung jawab dalam suatu organisasi.

Transparansi merujuk pada mengomunikasikan informasi tentang sistem AI sehingga pemangku kepentingan dapat membuat pilihan terbaik terkait penggunaan sistem mereka.