Detektor wajah pernah merestorasi celana seorang balita

Pada pengujian awal, detektor wajah melaporkan sebuah deteksi yang percaya diri pada jepretan keluarga dan pipeline dengan patuh “merestorasinya”, hanya saja yang terdeteksi adalah celana korduroi seorang balita. Lipatan kainnya terbaca sebagai wajah oleh detektor, dan model wajah lalu melukisnya ulang menjadi wajah. Kegagalan itu mengajarkan kami bahwa pada foto lama, keyakinan detektor saja bukan sinyal yang bisa dipakai, dan darinya lahir gerbang geometris yang kini harus dilewati setiap kandidat wajah. Revisi ini menambahkan separuh cerita lainnya, terukur: seberapa kecil wajah yang masih bisa ditemukan detektor. Batas bawahnya berada antara 14 dan 20 piksel letterbox, dan foto Konferensi Solvay 1927 yang terkenal, yang 29 wajahnya berukuran 21–27 px, melewatinya dengan setiap peserta ditemukan.

Setiap angka dalam catatan ini diukur pada kode pipeline produksi: model yang sama, matematika yang sama. Rekaman mentah per gambar: e5_detect.json.

1 · Mengapa foto lama mengacaukan detektor wajah

Detektor sebagian besar dilatih pada gambar modern dengan pencahayaan yang baik. Pindaian lama menghadirkan tekstur yang jarang ada dalam set pelatihan: anyaman kain, renda, dedaunan, kerusakan air, dan butiran, semuanya mampu menghasilkan deteksi palsu dengan keyakinan tinggi. Pindaian lama juga menghadirkan masalah sebaliknya: wajah sungguhan yang kecil, pudar, dan berkontras rendah. Ambang keyakinan saja tidak bisa memisahkan keduanya, karena positif palsu sering mencetak skor lebih tinggi daripada wajah kecil yang sungguhan. Detektor kami adalah SCRFD-2.5G^[1], didekode 1:1 dari implementasi referensi FaceFusion^[2]: foto di-letterbox ke input 640×640, dan setiap kandidat kembali dengan sebuah kotak, lima landmark, dan skor keyakinan.

2 · Gerbangnya

Alih-alih memercayai skornya, kami menguji apakah landmark deteksi tersusun seperti wajah: aritmetika murah pada titik mata dan mulut:

Ambangnya sengaja dibuat longgar: ia mendeskripsikan wajah manusia mana pun yang masuk akal, termasuk wajah miring dan tampak tiga perempat, sambil mengecualikan susunan yang tidak mungkin dimiliki wajah mana pun. Sejak gerbang ini dirilis, kegagalan kelas celana tidak pernah terulang pada foto uji kami.

3 · Baru: batas bawah deteksi, terukur

Hasil Solvay mendarat persis di tempat yang diprediksi tangga, di sisi yang baik: seluruh 29 dari 29 peserta terdeteksi pada skala bingkai penuh, keyakinan 0,734–0,864, setiap satunya lolos gerbang geometris. Dan sebuah kontrol yang layak dipublikasikan karena berlawanan dengan intuisi: mengubin foto yang sama secara naif 2×2 (piksel per wajah lebih banyak) hanya menemukan 27 dari 29. Dua wajah berada tepat di perbatasan ubin dan tidak terlihat utuh oleh ubin mana pun; grid 3×3 kebetulan memotong di tempat lain dan memulihkan seluruh 29. Asimetri itulah alasan tahap wajah kecil pada mesin browser mendeteksi pada bingkai penuh dan pada kuadran yang tumpang tindih, menggabungkan kandidat berdasarkan intersection-over-union: deteksi berubin membutuhkan tumpang tindih, bukan sekadar resolusi.

Bacaan praktisnya untuk foto kelompok: wajah yang lebih kecil dari kira-kira 3% sisi panjang foto tidak terlihat oleh detektor. Pangkas lebih rapat sebelum merestorasi (piksel yang sama kembali melewati letterbox dengan ukuran lebih besar, di sisi aman tebing) dan lihat catatan rendering wajah untuk apa yang terjadi pada wajah kecil setelah deteksi.

4 · Keterbatasan

Gerbang geometris hanya bisa menolak susunan yang mustahil. Positif palsu yang kebetulan berbentuk wajah (boneka, patung, potret di dinding) lolos, dan bisa dibilang memang seharusnya, karena merestorasinya tidak berbahaya. Tugas gerbang ini sempit: jangan pernah lagi melukis ulang pakaian seseorang menjadi wajah. Pengukuran batas bawahnya adalah satu potret dan satu foto kelompok: cukup untuk menemukan tebing antara 14 dan 20 px, tidak untuk memetakan bentuk persisnya di berbagai pose dan pencahayaan; dan keyakinan antara 20 dan 28 px jelas lebih berderau daripada di atasnya, sehingga wajah di pita itu sebaiknya dianggap berisiko, bukan aman.