Czy te kolory są prawdziwe? Koloryzacja AI tylko w chrominancji

Najczęstsza obawa wobec koloryzacji AI brzmi: model przemalowuje fotografię, więc twarz babci jest teraz częściowo wymyślona. W tym potoku jest to wykluczone z konstrukcji, nie na obietnicę: koloryzatorowi^[1] wolno wnieść wyłącznie kolor, nigdy detale. Ta notatka wyjaśnia mechanizm; potem (nowość w tej rewizji) ocenia 40 linijek arytmetyki, które decydują, kiedy koloryzacja się uruchamia, na 115 oznaczonych fotografiach: prawdziwych czarno-białych skanach, prawdziwej odbitce albuminowej z 1867 roku, trzech rodzinach odbitek tonowanych chemicznie, prawdziwym kolorze i syntetycznie wyblakłym kolorze. Detektor jest bezbłędny na każdej rodzinie monochromatycznej, ma 88% na prawdziwym kolorze, a na wyblakłym kolorze załamuje się do 8%, z powodu, którego żaden próg nie naprawi: dostatecznie wyblakły kolor jest monochromatyczny, matematycznie.

Każda liczba w tej notatce została zmierzona na kodzie produkcyjnego potoku: te same modele, ta sama matematyka. Surowe rekordy dla każdego obrazu: e4_mono.json.

1 · Mechanizm: luminancja jest nietykalna

Każdy obraz rozdziela się na luminancję (czarno-białą strukturę: krawędzie, fakturę, twarze, światło) i chrominancję (kolor nałożony na nią). Koloryzujemy w przestrzeni CIELAB, która czyni to rozdzielenie jawnym: fotografia zachowuje własny kanał L, bit w bit, a model wnosi tylko dwa kanały koloru (a i b). Złóż je z powrotem, a dostaniesz oryginalne zdjęcie ubrane w oszacowany kolor. Jeśli model koloru ma zły dzień, awarią jest zły odcień, nigdy zmieniona twarz, przesunięta krawędź czy wymyślona faktura.

PrzedPo

2 · Kiedy się uruchamia? Matematyka pytania „czy to sepia?”

Koloryzacja uruchamia się automatycznie tylko wtedy, gdy pomiar wskaże, że zdjęcie jest monochromatyczne, a to sepia sprawia, że nie jest to oczywiste. Naiwny test (r ≈ g ≈ b wszędzie) łapie neutralną czerń i biel i nic więcej. Ale odbitka w sepii jest zdecydowanie chromatyczna: każdy piksel niesie kolor. Monochromatyczną czyni ją to, że cały jej kolor wskazuje ten sam kierunek: chemia tonuje odbitkę jednym związkiem, więc odcień jest stały, a chrominancja skaluje się z gęstością. Kierunek, nie wielkość, jest odciskiem palca.

Detektor próbkuje więc do 20 000 pikseli w przestrzeni Lab i zachowuje trzy statystyki: udział chromatyczny (odsetek pikseli o chrominancji powyżej progu szumu 2 jednostek), średnią chrominancję C̄ i tę najciekawszą, koncentrację odcienia, czyli średnią długość wypadkowej jednostkowych wektorów odcienia, wprost ze statystyki kierunkowej^[2]:

R̄ mieści się w [0, 1]: dokładnie 1 oznacza, że każdy chromatyczny piksel zgadza się co do odcienia (idealne tonowanie); blisko 0 oznacza, że odcienie znoszą się wokół koła (skóra kłóci się z niebem: fotografia kolorowa). Reguła produkcyjna ma dwie klauzule:

3 · Ocena na 115 zdjęciach

Każda rodzina monochromatyczna klasyfikuje się bezbłędnie, w tym jedyna prawdziwa XIX-wieczna odbitka, która ląduje przy R̄ = 0,946, C̄ = 8,0, wygodnie wewnątrz obszaru. Wykres rozrzutu pokazuje cały korpus naraz, z zacieniowanym obszarem decyzji:

Trzy fałszywe wykrycia na prawdziwym kolorze warto nazwać, bo to nie szum; to fotografie monochromatycznych scen: leśny strumień Kodak (R̄ 0,93), zaparkowany odrzutowiec (R̄ 0,96), łódź o zmierzchu. Statystyka robi swoje; te sceny naprawdę koncentrują swój odcień. Awaria jest semantyczna, nie matematyczna, i właśnie dlatego zabieg Koloruj to widoczny, odznaczalny przełącznik, a nie cicha decyzja.

4 · Obszar, w którym żaden próg nie wygra

Teraz złote punkty. Gdy kolorowe zdjęcie blaknie, dzieją się dwie rzeczy naraz: C̄ maleje (barwniki umierają), a R̄ rośnie: to, co przetrwa blaknięcie, nie jest uczciwą próbką pierwotnych odcieni, lecz resztką plus dominantą odbitki, a dominanta jest z definicji kierunkowa. Przy wyblaknięciu 50% nasz korpus ma średnio R̄ ≈ 0,95; przy 82% R̄ ≈ 0,98 przy C̄ ≈ 9. Porównaj z Równ. 2: to jest sygnatura tonowania. Mocno wyblakłe kolorowe zdjęcie nie zbliżyło się do klasy sepii; ono do niej dołączyło.

Próg jest więc wyborem wartości przebranym za liczbę. Podnieś R̄ do 0,98, a wynik na korpusie rośnie o dziesięć punktów, podczas gdy klasyfikator po cichu zaczyna zawodzić na dokładnie tych artefaktach, dla których ta funkcja istnieje: prawdziwych tonowanych odbitkach, których stuletnia chemia błądzi w odcieniu dużo bardziej niż jakiekolwiek syntetyczne tonowanie. Produkcja pozostaje przy 0,92, by zachować margines dla prawdziwej chemii, przyjmuje obszar wyblakły jako naprawdę niejednoznaczny i pyta Ciebie, bo zdjęcie, które straciło 82% koloru, to takie, które jego właściciel może chcieć pokolorować na nowo. Powyższa tabela nazywa te 22 zdjęcia „błędnymi”; ich właściciele o połowie z nich powiedzieliby „proszę bardzo”.

5 · Czym koloryzacja uczciwie jest

Oszacowaniem. Model widział dość fotografii, by wiedzieć, że trawa jest zielona, a wełniane płaszcze z lat 1860. zwykle ciemnoniebieskie, ale nie może wiedzieć, że sukienka Twojej babci była czerwona, nie zielona. Tam, gdzie kolor jest historycznie do ustalenia, oszacowanie bywa przekonujące; tam, gdzie nie jest, model wybiera coś wiarygodnego. Dlatego uczciwe ujęcie to „naturalny kolor, dodany”, a nie „pierwotne kolory, odzyskane”, i dlatego istnieje opcja pozostawienia zdjęcia czarno-białym. Struktura (twarze, światło, chwila) jest zawsze własnością fotografii, na mocy mechanizmu z Sekcji 1. Ta sama sztuczka w przestrzeni Lab działa w odwrotną stronę w naszym renderowaniu twarzy, gdzie model twarzy wnosi tylko luminancję, a fotografia zachowuje swoją chrominancję.

6 · Ograniczenia

• Jedna prawdziwa tonowana odbitka. Albuminowy Herschel kotwiczy argument o realizmie, ale jest pojedynczą próbką; datowany korpus ferrotypii, albuminów i cyjanotypii to oczywisty następny krok.
• Syntetyczne blaknięcie jest łaskawe dla detektora. Prawdziwe blaknięcie chromogeniczne jest selektywne względem barwników (cyjan umiera pierwszy; dlatego odbitki z lat 70. czerwienieją), co pcha R̄ w górę jeszcze szybciej niż nasz jednorodny model.
• Błąd próbkowania, celowy: drobne kolorowe detale (samotna czerwona broszka na portrecie w sepii) mogą schować się pod radarem udziału chromatycznego. Odchylenie jest celowo w stronę zachowania tonowań.