Yapay zeka büyütme vs bikübik: 28 görüntülük bir kıyaslama

Artık her fotoğraf aracı “iyileştirme” vadediyor. Bizimki Real-ESRGAN^[1] çalıştırıyor, bu yüzden rahatsız edici bir soruya yanıt borçluyduk: görüntü işleme literatürünün ölçtüğü biçimde ölçtüğünde, yapay zeka gerçekten düz bikübik interpolasyonu yeniyor mu? Sonuç, yanıtların en ilginç türü (hayır ve aynı zamanda kesinlikle evet) ve bu iki yanıt arasındaki ayrımın literatürde bir adı var: algı–bozulma ödünleşimi^[3]. Bu not, yapay zekanın fena hâlde kaybettiği durum (film greni) dahil tam kıyaslamayı ve klasik kıyaslamayı kaybeden modeli neden yine de yayınladığımızı gösteriyor.

Bu nottaki her sayı üretim hattının kodunda ölçüldü: aynı modeller, aynı matematik. Görüntü başına ham kayıtlar: e1_sr.json.

1 · Yöntem

Derlem, 24 görüntülük Kodak Kayıpsız Gerçek Renk Seti^[4] (sıkıştırma ve süper çözünürlük literatürünün otuz yıldır dayandığı 768×512'lik referans seti) artı tarihî fotoğrafların yüksek çözünürlüklü taramalarından dört 768×512 kırpma; Dorothea Lange'nin 1936 tarihli Göçmen Anne'si^[5] dahil, çünkü bu site eski fotoğraflar için var ve eski fotoğraflarda film greni vardır. Bu ayrım 3. Bölüm'ü belirliyor.

Üç şeyi puanlıyoruz. Sadakat, RGB üzerinde tepe sinyal-gürültü oranı olarak:

yapısal benzerlik (SSIM^[2], luma, standart 11×11 Gauss penceresi, σ = 1.5, K₁ = 0.01, K₂ = 0.03):

ve keskinlik, Tenengrad ölçüsü (ortalama kare Sobel gradyan büyüklüğü) olarak, bir restorasyon oranı biçiminde rapor edilir: Tenengrad(çıktı) ÷ Tenengrad(gerçek referans). 1.0'lık bir oran, yeniden yapımın orijinal fotoğraf kadar kenar enerjisi taşıdığı anlamına gelirdi.

2 · Sonuçlar: ödünleşim, canlı

Herkesin rapor ettiği metrikte klasik merdiven tam olarak örnekleme teorisinin öngördüğü gibi davranıyor (her daha iyi çekirdek bir desibelin kesrini satın alıyor) ve Real-ESRGAN sondan ikinci geliyor:

*192×128 giriş, 2 vCPU'lu konteyner sınıfı donanım; oranlar aktarılabilir, milisaniyeler aktarılamaz. PSNR hikâyenin tamamı olsaydı Lanczos-3'ü yayınlar ve 4.9 MB'lık sinir ağını silerdik. Ama her yöntemi sadakat eksenine karşı keskinlik ekseninde çiz, alan iki türe ayrılıyor:

SSIM (ham hata yerine algılanan yapıyı izlemek için tasarlandı^[2]) arayı buluyor ve dar farkla modelin tarafını tutuyor: genel olarak alanın en iyi ortalaması ve ince dokunun baskın olduğu Kodak alt kümesinde daha net bir 0.704'e karşı 0.694. İnterpolasyon keskinlikte neden rekabet edemiyor? Çünkü her klasik çekirdek doğrusal, kaymadan bağımsız bir operatördür: yalnızca küçültmeyi atlatan frekansları yeniden dağıtabilir, atlatamayanları asla yaratamaz. Nyquist sınırı bir öneri değildir. Bir GAN önseli soruyu değiştirerek sınırın etrafından dolaşır: “bu örnekleri hangi sinyal üretti?” (yanıtlanamaz) sorusundan “buna küçülecek tüm doğal görüntüler arasında en makulü hangisi?” sorusuna^[1]. Riskinin yaşadığı yer de tam olarak burası: makul, doğru değildir.

3 · Film greni sorunu, sayılarla

Ortalamalar en yararlı bulguyu gizliyor. Derlemi böl, görüntü başına PSNR farkları (Real-ESRGAN − Lanczos-3) keskin biçimde iki tepeli: temiz modern karelerde model bir desibel içinde (birinde Lanczos'u doğrudan yeniyor, +0.15 dB); dört tarihî film taramasında ise feci biçimde kaybediyor: alt küme ortalamaları 28.75'e karşı 32.12 dB:

Büyüteç altında sayılar açıklığa kavuşuyor: gerçek referans taraması dürüst bir gren duvarı ve model porselen döndürüyor. Göçmen Anne'de 1.71 dB ve 0.064 SSIM düşüyor ve bazı izleyiciler yine de temiz çıktıyı tercih edecek. Metrikler zevk değildir; hangi zevki optimize ettiğin konusunda bir sözleşmedir. Bu ölçüm, iyileştirme aşamasının çözünürlük hedefine zaten yakın fotoğrafları neden atladığını (yüksek çözünürlüklü bir arşiv taraması yerel piksellerini ve grenini korur) ve yüz render'ımızın neden modelin porselenini sunmak yerine fotoğrafın kendi grenini restore edilmiş yüzlerin üzerine geri harmanladığını açıklıyor.

4 · Sınırlamalar

• Öğrenilmiş algısal metrik yok. LPIPS ya da DISTS algı eksenini keskinleştirirdi; Tenengrad dürüst ama daha basit bir vekil. Ham kayıtlar yayımlandı, herkes yeniden puanlayabilir.
• Tek bozulma. Bikübik ×4 standart protokol ve en nazik durum; gerçek taramalar bulanıklık çekirdekleri, JPEG ve gürültü ekler (yüz notu tam bozulma yığınını kullanıyor).
• N = 28: bu etki büyüklükleri için bol (sıralama biri-dışarıda altında kararlı), gren ayrımının ötesindeki alt grup iddiaları için az.

5 · Sonuç

Sinyal yeniden yapımı olarak ölçüldüğünde yapay zeka süper çözünürlüğü Lanczos-3'ten daha kötü bir interpolatör: burada 1.07 dB daha kötü, tam olarak algı–bozulma ödünleşiminin öngördüğü gibi^[3]. Fotoğraf yeniden yapımı olarak ölçüldüğünde (yapı, kenar enerjisi ve gözlerin) ters yönde, yakın bile değil. Ayakkabı kutun için pratik okuma: insanların bakacağı fotoğraflarda model doğru varsayılan; her gren tanesinin kanıt olduğu arşiv masterlarında ham taramayı da sakla. Restorasyon aracı tam olarak bu ayrımın etrafında kurulu.