क्या रंग असली हैं? सिर्फ क्रोमा वाली AI कलराइज़ेशन
AI कलराइज़ेशन को लेकर सबसे आम चिंता यह है कि मॉडल तस्वीर को फिर से पेंट कर रहा है: कि दादी का चेहरा अब कुछ हद तक एक गढ़ी हुई चीज़ है। इस पाइपलाइन में यह वादे से नहीं, बनावट से ही नामुमकिन है: कलराइज़र[1] को सिर्फ रंग देने की इजाज़त है, डिटेल कभी नहीं। यह नोट उस तंत्र को समझाता है; फिर (इस संशोधन में नया) उन 40 लाइनों के अंकगणित का मूल्यांकन करता है जो तय करती हैं कि कलराइज़ेशन कब चले, 115 लेबल की गई तस्वीरों पर: असली ब्लैक एंड व्हाइट स्कैन, 1867 का एक असली एल्ब्यूमेन प्रिंट, रासायनिक रूप से टोन किए प्रिंट के तीन परिवार, असली रंग, और सिंथेटिक रूप से फीका किया रंग। डिटेक्टर हर मोनोक्रोम परिवार पर परफेक्ट है, असली रंग पर 88%, और फीके रंग पर 8% तक गिर जाता है, एक ऐसी वजह से जिसे कोई थ्रेशोल्ड ठीक नहीं कर सकता: काफी फीका पड़ा रंग गणितीय रूप से मोनोक्रोम ही है।
इस नोट का हर आँकड़ा प्रोडक्शन पाइपलाइन के कोड पर मापा गया: वही मॉडल, वही गणित। प्रति इमेज कच्चे रिकॉर्ड: e4_mono.json.
1 · तंत्र: ल्यूमिनेंस अछूता है
हर इमेज ल्यूमिनेंस (ब्लैक एंड व्हाइट संरचना: किनारे, बनावट, चेहरे, रोशनी) और क्रोमा (उसके ऊपर बिछा रंग) में बँट जाती है। हम CIELAB स्पेस में रंग भरते हैं, जो इस बँटवारे को स्पष्ट कर देता है: तस्वीर अपना L चैनल बिट-दर-बिट रखती है, और मॉडल सिर्फ दो रंग चैनल (a और b) देता है। फिर से मिलाएँ और आपको अनुमानित रंग पहने मूल फोटो मिलती है। अगर रंग मॉडल का दिन खराब है, तो नाकामी एक गलत रंगत है, कभी बदला हुआ चेहरा, हिला हुआ किनारा या गढ़ी हुई बनावट नहीं।
पहले
बाद में2 · यह कब चलता है? “क्या यह सेपिया है?” का गणित
कलराइज़ेशन अपने आप सिर्फ तब चलता है जब फोटो मापने पर मोनोक्रोम निकले, और सेपिया ही है जो इसे गैर-ज़ाहिर बनाता है। सीधा-सादा टेस्ट (हर जगह r ≈ g ≈ b) न्यूट्रल ब्लैक एंड व्हाइट पकड़ता है और कुछ नहीं। लेकिन सेपिया प्रिंट पक्के तौर पर क्रोमैटिक है: हर पिक्सेल रंग लिए है। उसे मोनोक्रोम यह बनाता है कि उसका सारा रंग एक ही दिशा में इशारा करता है: रसायन प्रिंट को एक यौगिक से टोन करता है, इसलिए ह्यू स्थिर रहता है जबकि क्रोमा घनत्व के साथ बढ़ता-घटता है। दिशा, परिमाण नहीं, फिंगरप्रिंट है।
इसलिए डिटेक्टर Lab स्पेस में 20,000 तक पिक्सेल सैंपल करता है और तीन आँकड़े रखता है: क्रोमैटिक फ्रैक्शन (2-यूनिट नॉइज़ फ्लोर से ऊपर क्रोमा वाले पिक्सेलों का हिस्सा), औसत क्रोमा C̄, और दिलचस्प वाला, ह्यू कॉन्सन्ट्रेशन, जो यूनिट ह्यू वेक्टरों की औसत परिणामी लंबाई है, सीधे डायरेक्शनल स्टैटिस्टिक्स[2] से:
R̄ [0, 1] में रहता है: ठीक 1 का मतलब है हर क्रोमैटिक पिक्सेल ह्यू पर सहमत है (एक परफेक्ट टिंट); 0 के पास का मतलब है ह्यू वृत्त के चारों ओर एक-दूसरे को काट देते हैं (त्वचा आसमान से बहस करती हुई: एक रंगीन तस्वीर)। प्रोडक्शन नियम की दो शर्तें हैं:
3 · 115 फोटो का मूल्यांकन
| समूह | n | सही | दर |
|---|---|---|---|
| Real B&W scans | 5 | 5 | 100% |
| Real albumen print (1867) | 1 | 1 | 100% |
| Synthetic neutral grayscale | 6 | 6 | 100% |
| Sepia tints (×3 strengths) | 18 | 18 | 100% |
| Selenium tints | 18 | 18 | 100% |
| Cyanotype tints | 18 | 18 | 100% |
| Real color photos | 25 | 22 | 88% |
| Faded color (synthetic) | 24 | 2 | 8% |
हर मोनोक्रोम परिवार परफेक्ट वर्गीकृत होता है, उस इकलौते असली 19वीं सदी के प्रिंट समेत, जो R̄ = 0.946, C̄ = 8.0 पर, क्षेत्र के आराम से अंदर उतरता है। स्कैटर पूरा कॉर्पस एक साथ दिखाता है, निर्णय क्षेत्र छायांकित:
असली रंग वाले तीन फ़ॉल्स पॉज़िटिव नाम लेने लायक हैं, क्योंकि वे शोर नहीं हैं; वे मोनोक्रोमैटिक दृश्यों की तस्वीरें हैं: Kodak की जंगल की धारा (R̄ 0.93), खड़ा जेट (R̄ 0.96), शाम के झुटपुटे में एक नाव। आँकड़ा अपना काम कर रहा है; वे दृश्य सच में अपना ह्यू एक जगह जमा करते हैं। नाकामी शब्दार्थ की है, गणित की नहीं, और ठीक इसीलिए “रंग भरें” ट्रीटमेंट चुपचाप लिया गया फैसला नहीं, बल्कि एक दिखता हुआ, अनचेक किया जा सकने वाला टॉगल है।
4 · वह क्षेत्र जहाँ कोई थ्रेशोल्ड जीत नहीं सकता
अब सुनहरे बिंदु। एक रंगीन फोटो को फीका करें और दो चीज़ें एक साथ होती हैं: C̄ सिकुड़ता है (डाई मर रही हैं) और R̄ बढ़ता है: फीका पड़ने के बाद जो बचता है वह मूल ह्यू का निष्पक्ष सैंपल नहीं बल्कि अवशेष और प्रिंट की झलक है, और झलक परिभाषा से ही दिशात्मक होती है। 50% फीके पर हमारे कॉर्पस का औसत R̄ ≈ 0.95 है; 82% फीके पर R̄ ≈ 0.98, C̄ ≈ 9 के साथ। समीकरण 2 से मिलाएँ: यही तो टिंट का हस्ताक्षर है। बहुत फीकी पड़ी रंगीन फोटो सेपिया वर्ग के पास नहीं खिसकी है; वह उसमें शामिल हो गई है।
तो थ्रेशोल्ड एक आँकड़े के भेस में मूल्यों का चुनाव है। R̄ को 0.98 तक धकेलें और कॉर्पस स्कोर दस अंक बढ़ता है, जबकि क्लासिफायर चुपचाप ठीक उन्हीं कलाकृतियों पर नाकाम होने लगता है जिनके लिए यह फीचर है: असली टोन किए प्रिंट, जिनका सदी पुराना रसायन ह्यू में किसी भी सिंथेटिक टिंट से कहीं ज़्यादा भटकता है। प्रोडक्शन असली रसायन के लिए मार्जिन रखने को 0.92 पर टिका रहता है, फीके क्षेत्र को सचमुच अस्पष्ट मानता है, और आपसे पूछता है, क्योंकि जिस फोटो ने अपना 82% रंग खो दिया है, उसका मालिक शायद उसे फिर से रंगीन करवाना ही चाहे। ऊपर की तालिका उन 22 फोटो को “गलत” कहती है; उनके मालिक उनमें से आधी को शायद “हाँ, कर दो” कहें।
5 · कलराइज़ेशन ईमानदारी से क्या है
एक अनुमान। मॉडल ने इतनी तस्वीरें देखी हैं कि उसे पता है घास हरी होती है और 1860 के दशक के ऊनी कोट आमतौर पर गहरे नीले होते हैं, लेकिन वह नहीं जान सकता कि आपकी दादी की पोशाक हरी नहीं, लाल थी। जहाँ रंग ऐतिहासिक रूप से जाना जा सकता है, अनुमान अक्सर यकीन दिलाता है; जहाँ नहीं, मॉडल कुछ विश्वसनीय चुन लेता है। इसीलिए ईमानदार शब्द “प्राकृतिक रंग, जोड़ा गया” है, “मूल रंग, वापस पाए गए” नहीं, और इसीलिए फोटो को ब्लैक एंड व्हाइट रखने का विकल्प मौजूद है। संरचना (चेहरे, रोशनी, वह पल) खंड 1 के तंत्र से हमेशा तस्वीर की अपनी है। यही Lab-स्पेस तरकीब हमारी फेस रेंडरिंग में उल्टी चलती है, जहाँ फेस मॉडल सिर्फ ल्यूमिनेंस देता है और तस्वीर अपना क्रोमा रखती है।
6 · सीमाएँ
- एक ही असली टोन किया प्रिंट। एल्ब्यूमेन Herschel यथार्थ की दलील को थामे है पर एक ही सैंपल है; टिनटाइप, एल्ब्यूमेन और सायनोटाइप का तारीख वाला कॉर्पस ज़ाहिर अगला कदम है।
- सिंथेटिक फीकापन डिटेक्टर पर मेहरबान है। असली क्रोमोजेनिक फीकापन डाई-चयनात्मक है (सायन पहले मरता है; इसीलिए 70 के दशक के प्रिंट लाल पड़ते हैं), जो R̄ को हमारे एकसमान मॉडल से भी तेज़ ऊपर धकेलता है।
- सैंपलिंग का झुकाव, जानबूझकर: नन्ही रंगीन डिटेल (सेपिया पोर्ट्रेट पर एक अकेला लाल ब्रोच) क्रोमैटिक-फ्रैक्शन रडार के नीचे छिप सकती है। झुकाव जानबूझकर टिंट बचाए रखने की ओर है।
संदर्भ
- Antic, J. (2019). DeOldify: A Deep Learning based project for colorizing and restoring old images. Open-source software. github.com
- Mardia, K. V., & Jupp, P. E. (2000). Directional Statistics. Wiley. (The mean resultant length R̄ behind our hue-concentration statistic.) onlinelibrary.wiley.com
- Kodak Lossless True Color Image Suite: 24 uncompressed 768×512 PhotoCD reference images, the classic image-quality test set. r0k.us
- Cameron, J. M. (1867). Portrait of Sir John Herschel, a real albumen print with genuine chemical toning. Public domain, via Wikimedia Commons. commons.wikimedia.org
- Lange, D. (1936). “Migrant Mother” (Destitute pea pickers in California), Farm Security Administration. Public domain, via Wikimedia Commons. commons.wikimedia.org
- ONNX Runtime: the inference engine both our server (CPU) and in-browser (WebGPU/WASM) engines run on. onnxruntime.ai