Upscaling AI vs bicubic: benchmark 28 gambar

Setiap alat foto kini berjanji untuk “meningkatkan”. Alat kami menjalankan Real-ESRGAN^[1], jadi kami berutang jawaban atas pertanyaan yang tidak nyaman: ketika kamu mengukur dengan cara literatur pemrosesan citra mengukur, apakah AI benar-benar mengalahkan interpolasi bicubic biasa? Hasilnya adalah jenis jawaban yang paling menarik (tidak, dan juga jelas-jelas ya), dan perpecahan antara kedua jawaban itu punya nama dalam literatur: tarik-ulur persepsi–distorsi^[3]. Catatan ini memperlihatkan benchmark lengkapnya, termasuk kasus ketika AI kalah telak (butiran film), dan mengapa kami tetap merilis model yang kalah dalam benchmark klasik itu.

Setiap angka dalam catatan ini diukur pada kode pipeline produksi: model yang sama, matematika yang sama. Rekaman mentah per gambar: e1_sr.json.

1 · Metode

Korpusnya adalah Kodak Lossless True Color Suite 24 gambar^[4] (set referensi 768×512 yang menjadi sandaran literatur kompresi dan super-resolusi selama tiga dekade), plus empat potongan 768×512 dari pindaian beresolusi tinggi foto-foto bersejarah, termasuk Migrant Mother karya Dorothea Lange tahun 1936^[5], karena situs ini ada untuk foto lama dan foto lama punya butiran film. Perbedaan itulah yang menentukan Bagian 3.

Kami menilai tiga hal. Fidelitas, sebagai peak signal-to-noise ratio atas RGB:

kemiripan struktural (SSIM^[2], luma, jendela Gaussian 11×11 standar, σ = 1,5, K₁ = 0,01, K₂ = 0,03):

dan ketajaman sebagai ukuran Tenengrad (rata-rata kuadrat magnitudo gradien Sobel), dilaporkan sebagai rasio restorasi, Tenengrad(output) ÷ Tenengrad(ground truth). Rasio 1,0 berarti rekonstruksi membawa energi tepi sebanyak foto aslinya.

2 · Hasil: tarik-ulurnya, secara langsung

Pada metrik yang dilaporkan semua orang, tangga klasik berperilaku persis seperti yang diprediksi teori pencuplikan (setiap kernel yang lebih baik membeli sepersekian desibel), dan Real-ESRGAN datang di urutan kedua dari bawah:

*Input 192×128, perangkat keras kelas kontainer 2-vCPU; rasionya bisa dipindahkan, milidetiknya tidak. Jika PSNR adalah keseluruhan ceritanya, kami akan merilis Lanczos-3 dan menghapus 4,9 MB jaringan saraf. Tetapi plot setiap metode pada sumbu fidelitas terhadap sumbu ketajaman dan lapangan terbelah menjadi dua spesies:

SSIM (dirancang untuk mengikuti struktur yang dipersepsi alih-alih galat mentah^[2]) berada di tengah dan berpihak, tipis, pada model: rata-rata terbaik di lapangan secara keseluruhan, dan 0,704 vs 0,694 yang lebih jelas pada subset Kodak yang didominasi tekstur halus. Mengapa interpolasi tidak bisa bersaing dalam ketajaman? Karena setiap kernel klasik adalah operator linear dan invarian-geser: ia hanya bisa mendistribusikan ulang frekuensi yang selamat dari downsampling, tidak pernah menciptakan yang tidak selamat. Batas Nyquist bukan saran. Prior GAN mengelak dari batas itu dengan mengubah pertanyaannya: dari “sinyal apa yang menghasilkan sampel-sampel ini?” (tak terjawab) menjadi “dari semua gambar alami yang akan di-downsample menjadi ini, mana yang paling masuk akal?”^[1] Di situ pula persisnya risikonya bermukim: masuk akal bukan berarti benar.

3 · Masalah butiran film, dikuantifikasi

Rata-rata menyembunyikan temuan yang paling berguna. Pisahkan korpusnya dan delta PSNR per gambar (Real-ESRGAN − Lanczos-3) tajam bimodal: pada frame modern yang bersih, model berada dalam rentang satu desibel (ia mengalahkan Lanczos secara langsung pada satu gambar, +0,15 dB); pada empat pindaian film bersejarah ia kalah telak: rata-rata subsetnya 28,75 vs 32,12 dB:

Di bawah lup, angka-angkanya menjadi jelas: pindaian ground truth adalah dinding butiran yang jujur, dan model mengembalikan porselen. Pada Migrant Mother ia turun 1,71 dB dan 0,064 SSIM, dan sebagian penonton akan tetap lebih menyukai output yang bersih. Metrik bukan selera; metrik adalah kontrak tentang selera mana yang kamu optimalkan. Pengukuran inilah alasan tahap peningkatan melewati foto yang sudah dekat dengan target resolusinya (pindaian arsip beresolusi tinggi mempertahankan piksel asli dan butirannya), dan alasan rendering wajah kami membaurkan kembali butiran foto itu sendiri di atas wajah hasil restorasi alih-alih merilis porselen milik model.

4 · Keterbatasan

• Tidak ada metrik perseptual yang dipelajari. LPIPS atau DISTS akan mempertajam sumbu persepsi; Tenengrad adalah proksi yang jujur tetapi lebih sederhana. Rekaman mentahnya dipublikasikan sehingga siapa pun bisa menilai ulang.
• Satu degradasi. Bicubic ×4 adalah protokol standar dan kasus yang paling ramah; pindaian sungguhan menambahkan kernel blur, JPEG, dan derau (catatan wajah memakai tumpukan korupsi lengkap).
• N = 28: cukup untuk ukuran efek sebesar ini (urutannya stabil di bawah leave-one-out), kecil untuk klaim subkelompok di luar pemisahan butiran.

5 · Kesimpulan

Diukur sebagai rekonstruksi sinyal, super-resolusi AI adalah interpolator yang lebih buruk daripada Lanczos-3: 1,07 dB lebih buruk di sini, persis seperti yang diprediksi tarik-ulur persepsi–distorsi^[3]. Diukur sebagai rekonstruksi foto (struktur, energi tepi, dan matamu) hasilnya tidak dekat, ke arah sebaliknya. Bacaan praktisnya untuk kotak sepatumu: untuk foto yang akan dilihat orang, model adalah default yang tepat; untuk master arsip yang setiap partikel butirannya adalah bukti, simpan juga pindaian mentahnya. Alat restorasi dibangun persis di sekitar pemisahan itu.