Renkler gerçek mi? Yalnızca kroma yapay zeka renklendirmesi

Yapay zeka renklendirmesiyle ilgili en yaygın endişe, modelin fotoğrafı yeniden boyadığıdır: büyükannenin yüzünün artık kısmen bir uydurma olduğu. Bu hatta bu, sözle değil, yapı gereği dışlanmıştır: renklendiricinin^[1] yalnızca renk katmasına izin verilir, ayrıntı asla. Bu not mekanizmayı açıklıyor; ardından (bu revizyonda yeni) renklendirmenin ne zaman çalışacağına karar veren 40 satırlık aritmetiği 115 etiketli fotoğraf üzerinde değerlendiriyor: gerçek siyah beyaz taramalar, gerçek bir 1867 albümin baskı, kimyasal olarak tonlanmış üç baskı ailesi, gerçek renk ve sentetik olarak solmuş renk. Dedektör her tek renkli ailede kusursuz, gerçek renkte %88 ve solmuş renkte %8'e çöküyor; bunun nedeni hiçbir eşiğin düzeltemeyeceği bir şey: yeterince solmuş renk, matematiksel olarak tek renklidir.

Bu nottaki her sayı üretim hattının kodunda ölçüldü: aynı modeller, aynı matematik. Görüntü başına ham kayıtlar: e4_mono.json.

1 · Mekanizma: lüminansa dokunulamaz

Her görüntü lüminans (siyah beyaz yapı: kenarlar, doku, yüzler, ışık) ve kroma (üzerine serilen renk) olarak ayrılır. CIELAB uzayında renklendiriyoruz, bu da ayrımı açık hâle getirir: fotoğraf kendi L kanalını bit bit korur ve model yalnızca iki renk kanalını (a ve b) katar. Yeniden birleştir ve tahmini renk giymiş orijinal fotoğrafı elde edersin. Renk modelinin kötü bir günündeyse hata yanlış bir ton olur; asla değişmiş bir yüz, kaymış bir kenar ya da uydurulmuş doku değil.

ÖnceSonra

2 · Ne zaman çalışır? “Bu sepya mı?” sorusunun matematiği

Renklendirme yalnızca fotoğraf tek renkli olarak ölçüldüğünde otomatik çalışır ve bunu bariz olmaktan çıkaran şey sepyadır. Naif test (her yerde r ≈ g ≈ b) nötr siyah beyazı yakalar, başka hiçbir şeyi değil. Oysa bir sepya baskı kesinlikle kromatiktir: her piksel renk taşır. Onu tek renkli yapan, tüm renginin aynı yönü göstermesidir: kimya bir baskıyı tek bir bileşikle tonlar, dolayısıyla ton sabittir, kroma ise yoğunlukla ölçeklenir. Parmak izi büyüklük değil, yöndür.

Bu yüzden dedektör Lab uzayında 20 000 piksele kadar örnek alır ve üç istatistik tutar: kromatik oran (kroması 2 birimlik gürültü tabanının üstünde olan piksellerin payı), ortalama kroma C̄ ve ilginç olanı, birim ton vektörlerinin ortalama bileşke uzunluğu olan ve doğrudan yönsel istatistikten gelen^[2] ton yoğunlaşması:

R̄, [0, 1] aralığında yaşar: tam 1, her kromatik pikselin ton konusunda hemfikir olduğu (kusursuz bir tint) anlamına gelir; 0'a yakın, tonların çember üzerinde birbirini götürdüğü (ten gökyüzüyle tartışıyor: renkli bir fotoğraf) anlamına gelir. Üretim kuralı iki maddeden oluşur:

3 · 115 fotoğraflık değerlendirme

Her tek renkli aile kusursuz sınıflandırılıyor; tek gerçek 19. yüzyıl baskısı dahil, o da R̄ = 0.946, C̄ = 8.0 ile bölgenin rahatça içine düşüyor. Dağılım grafiği karar bölgesi gölgelenmiş olarak tüm derlemi tek seferde gösteriyor:

Üç gerçek renk yanlış pozitifi adlarıyla anmaya değer, çünkü gürültü değiller; tek tonlu sahnelerin fotoğrafları: Kodak'ın orman deresi (R̄ 0.93), park hâlindeki jet (R̄ 0.96), alacakaranlıkta bir tekne. İstatistik işini yapıyor; o sahneler tonlarını gerçekten yoğunlaştırıyor. Hata matematiksel değil, anlamsal; Renklendir işleminin sessiz bir karar yerine görünür, işareti kaldırılabilir bir anahtar olmasının nedeni tam olarak bu.

4 · Hiçbir eşiğin kazanamayacağı bölge

Şimdi altın noktalar. Renkli bir fotoğrafı soldur, aynı anda iki şey olur: C̄ küçülür (boyalar ölüyor) ve R̄ yükselir: solmayı atlatan şey orijinal tonların adil bir örneği değil, kalıntı artı baskının renk kaymasıdır ve bir renk kayması tanımı gereği yönseldir. %50 solmada derlemimizin ortalaması R̄ ≈ 0.95; %82 solmada R̄ ≈ 0.98 ve C̄ ≈ 9. Denklem 2 ile karşılaştır: bu tam da tint imzası. Ağır solmuş bir renkli fotoğraf sepya sınıfına yaklaşmış değildir; ona katılmıştır.

Yani eşik, sayı kılığına girmiş bir değer tercihi. R̄'yi 0.98'e it, derlem puanı on puan yükselir; bu arada sınıflandırıcı sessizce tam da özelliğin var olma nedeni olan eserlerde başarısız olmaya başlar: yüz yıllık kimyası tonda herhangi bir sentetik tintten çok daha fazla gezinen gerçek tonlanmış baskılar. Üretim, gerçek kimyaya pay bırakmak için 0.92'de kalıyor, solmuş bölgeyi gerçekten belirsiz kabul ediyor ve sana soruyor, çünkü renginin %82'sini kaybetmiş bir fotoğraf, sahibinin pekâlâ yeniden renklendirmek isteyebileceği bir fotoğraftır. Yukarıdaki tablo o 22 fotoğrafa “yanlış” diyor; sahipleri yarısına “lütfen yap” diyebilir.

5 · Renklendirme dürüstçe nedir

Bir tahmin. Model, çimenin yeşil ve 1860'ların yün paltolarının genellikle koyu mavi olduğunu bilecek kadar fotoğraf gördü, ama büyükannenin elbisesinin yeşil değil kırmızı olduğunu bilemez. Rengin tarihsel olarak bilinebilir olduğu yerde tahmin çoğu zaman inandırıcıdır; olmadığı yerde model makul bir şey seçer. Dürüst çerçevelemenin “orijinal renkler kurtarıldı” değil, “doğal renk eklendi” olmasının ve bir fotoğrafı siyah beyaz bırakma seçeneğinin var olmasının nedeni bu. Yapı (yüzler, ışık, an) 1. Bölüm'deki mekanizma sayesinde her zaman fotoğrafın kendisinindir. Aynı Lab uzayı hilesi yüz render'ımızda tersine çalışır: orada yüz modeli yalnızca lüminans katar ve fotoğraf kromasını korur.

6 · Sınırlamalar

• Tek bir gerçek tonlanmış baskı. Albümin Herschel gerçekçilik argümanını sabitliyor ama tek bir örnek; tarihli bir ferrotip, albümin ve siyanotipi derlemi bariz sonraki adım.
• Sentetik solma dedektöre karşı nazik. Gerçek kromojenik solma boya seçicidir (önce siyan ölür; 70'ler baskılarının kırmızıya dönmesinin nedeni bu), bu da R̄'yi tekdüze modelimizden bile daha hızlı yukarı iter.
• Tasarım gereği örnekleme yanlılığı: minik renkli ayrıntılar (sepya bir portrede tek başına kırmızı bir broş) kromatik oran radarının altında saklanabilir. Yanlılık kasıtlı olarak tonları koruma yönündedir.