Blog / Teknik

Apakah warnanya asli? Pewarnaan AI hanya-kroma

· diperbarui 24 Agustus dengan studi detektor 115 foto · data: implementasi, catatan keputusan, bench lab

Kekhawatiran paling umum tentang pewarnaan AI adalah bahwa model melukis ulang fotonya: bahwa wajah nenek kini sebagian adalah karangan. Dalam pipeline ini hal itu dikesampingkan secara konstruksi, bukan lewat janji: pewarna[1] hanya diizinkan menyumbang warna, tidak pernah detail. Catatan ini menjelaskan mekanismenya; lalu (baru dalam revisi ini) mengevaluasi 40 baris aritmetika yang memutuskan kapan pewarnaan berjalan, pada 115 foto berlabel: pindaian hitam putih sungguhan, cetakan albumen 1867 sungguhan, tiga keluarga cetakan yang di-toning secara kimiawi, warna sungguhan, dan warna yang dipudarkan secara sintetis. Detektornya sempurna pada setiap keluarga monokrom, 88% pada warna sungguhan, dan pada warna pudar ia runtuh ke 8%, karena alasan yang tidak bisa diperbaiki ambang mana pun: warna yang cukup pudar adalah monokrom, secara matematis.

115foto berlabel dievaluasipindaian sungguhan + 3 keluarga tint sintetis
100%pada setiap keluarga monokromB&W, sepia, selenium, cyanotype: 66/66
88%pada warna sungguhan3 yang luput adalah adegan satu rona
8%pada warna pudardan matematikanya menjelaskan mengapa

Setiap angka dalam catatan ini diukur pada kode pipeline produksi: model yang sama, matematika yang sama. Rekaman mentah per gambar: e4_mono.json.

1 · Mekanismenya: luminans tak tersentuh

Setiap gambar terpisah menjadi luminans (struktur hitam putihnya: tepi, tekstur, wajah, cahaya) dan kroma (warna yang dilapiskan di atasnya). Kami mewarnai dalam ruang CIELAB, yang membuat pemisahan itu eksplisit: foto mempertahankan kanal L-nya sendiri, bit demi bit, dan model hanya menyumbang dua kanal warna (a dan b). Gabungkan kembali dan kamu mendapatkan foto asli yang mengenakan warna perkiraan. Jika model warna sedang bermasalah, kegagalannya adalah tint yang salah, tidak pernah wajah yang berubah, tepi yang bergeser, atau tekstur karangan.

Pindaianfoto B&W
Kanal Lstruktur: lewat begitu saja
Kanal a·bwarna: dari model
Hasildetail sama, warna baru
Gambar 1. Pemisahan kanal. Model tidak pernah melihat jalur untuk mengubah struktur: luminans mengalir lewat tanpa dimodifikasi.
Pindaian pelat kaca hitam putih tahun 1862, tiga pria di sebuah tenda militerSebelumFoto yang sama setelah direstorasi dan diwarnai: seragam biru, rumput dan kanvas dalam nada alamiSesudah
Gambar 2. Pewarnaan sebagai bagian dari restorasi lengkap: pindaian pelat kaca tahun 1862, dan hasil dari alat di situs ini. Warnanya perkiraan; detailnya milik foto itu sendiri. Agustus 2026.

2 · Kapan ia berjalan? Matematika “apakah ini sepia?”

Pewarnaan berjalan otomatis hanya ketika foto terukur monokrom, dan sepialah yang membuat itu tidak sesederhana kelihatannya. Uji naif (r ≈ g ≈ b di mana-mana) menangkap hitam putih netral dan tidak yang lain. Tetapi cetakan sepia jelas-jelas kromatik: setiap piksel membawa warna. Yang membuatnya monokrom adalah seluruh warnanya menunjuk ke arah yang sama: proses kimia men-toning cetakan dengan satu senyawa, sehingga rona konstan sementara kroma berskala dengan kepekatan. Arah, bukan besaran, itulah sidik jarinya.

Maka detektor mencuplik hingga 20.000 piksel dalam ruang Lab dan menyimpan tiga statistik: fraksi kromatik (bagian piksel dengan kroma di atas ambang derau 2 unit), kroma rata-rata C̄, dan yang menarik, konsentrasi rona, yaitu panjang resultan rata-rata dari vektor rona satuan, langsung dari statistik arah[2]:

R̄ = ‖ Σi ui ‖ / n,   ui = (ai, bi) / Ci(1)

R̄ berada dalam [0, 1]: tepat 1 berarti setiap piksel kromatik sepakat soal rona (tint yang sempurna); mendekati 0 berarti rona saling meniadakan di sekeliling lingkaran (kulit berdebat dengan langit: foto berwarna). Aturan produksinya dua klausul:

monokrom ⇔ fraksiKromatik < 0,05  ∨  ( R̄ > 0,92 ∧ C̄ < 22 )(2)

3 · Evaluasi 115 foto

Enam versi foto burung beo yang sama: warna asli, hitam putih netral, sepia, cyanotype, setengah pudar, dan sangat pudar
Gambar 3. Satu adegan Kodak melewati generator korpus. Konsentrasi rona R̄ terukur, kiri ke kanan: 0,65 (warna asli), 0,00 (B&W netral), 1,00 (sepia), 1,00 (cyanotype), 0,86 (pudar 50%), 0,96 (pudar 82%). Perhatikan angka terakhir: pemudaran menaikkan R̄, dan itulah seluruh masalah di Bagian 4.
Kelompoknbenartingkat
Real B&W scans55100%
Real albumen print (1867)11100%
Synthetic neutral grayscale66100%
Sepia tints (×3 strengths)1818100%
Selenium tints1818100%
Cyanotype tints1818100%
Real color photos252288%
Faded color (synthetic)2428%

Setiap keluarga monokrom terklasifikasi sempurna, termasuk satu-satunya cetakan abad ke-19 yang asli, yang mendarat pada R̄ = 0,946, C̄ = 8,0, nyaman di dalam wilayah. Diagram sebar memperlihatkan seluruh korpus sekaligus, dengan wilayah keputusan diarsir:

monokrom (sebenarnya)warna sungguhanwarna pudar
0102230405000.250.50.750.921konsentrasi rona R̄kroma rata-rata C̄diklasifikasikan monokrom
Gambar 4. Bidang keputusan: konsentrasi rona R̄ terhadap kroma rata-rata C̄, satu titik per foto (B&W netral menumpuk di titik asal; keluarga tint membentuk kolom padat pada R̄ ≈ 1). Kotak yang diarsir adalah klausul dua dari Pers. 2. Tiga foto warna sungguhan (biru) menyusup: sungai di hutan, jet di landasan, perahu yang tertambat, adegan yang memang satu rona. Dan set pudar (emas) berbaris mantap masuk ke kotak seiring pemudaran mendorong R̄ menuju 1.

Tiga positif palsu warna sungguhan layak disebut namanya, karena itu bukan derau; itu adalah foto dari adegan monokromatik: sungai hutan Kodak (R̄ 0,93), jet yang parkir (R̄ 0,96), perahu saat senja. Statistiknya bekerja sebagaimana mestinya; adegan-adegan itu memang memusatkan ronanya. Kegagalannya semantik, bukan matematis, dan itulah persisnya mengapa perawatan Warnai adalah sakelar yang terlihat dan bisa dimatikan, bukan keputusan diam-diam.

4 · Wilayah di mana tidak ada ambang yang bisa menang

Sekarang titik-titik emasnya. Pudarkan sebuah foto berwarna dan dua hal terjadi sekaligus: C̄ menyusut (pewarnanya sekarat) dan R̄ naik: yang bertahan dari pemudaran bukan sampel adil dari rona aslinya melainkan residu plus semburat cetakan, dan semburat menurut definisi bersifat terarah. Pada pudar 50% korpus kami rata-rata R̄ ≈ 0,95; pada pudar 82%, R̄ ≈ 0,98 dengan C̄ ≈ 9. Bandingkan dengan Pers. 2: itu adalah tanda tangan tint. Foto berwarna yang sangat pudar tidak sekadar mendekati kelas sepia; ia telah bergabung dengannya.

0.60.70.80.90.80.840.880.920.960.98ambang R̄akurasi korpusproduksi
Gambar 5. Akurasi korpus saat ambang R̄ disapu (batas kroma ditahan pada 22). Akurasi naik terus sampai 0,98, tetapi dari 0,96 ke atas kenaikannya dibeli dengan mengeluarkan satu-satunya cetakan albumen asli (R̄ = 0,946) dari kelas monokrom: satu-satunya negatif palsu dalam sapuan. Tint sintetis mencetak R̄ ≥ 0,998; kimia abad ke-19 sungguhan mengembara. Menyetel ke 0,98 berarti overfitting pada generator kami sendiri.

Jadi ambangnya adalah pilihan nilai yang berpakaian angka. Dorong R̄ ke 0,98 dan skor korpus naik sepuluh poin, sementara pengklasifikasi diam-diam mulai gagal pada artefak yang justru menjadi alasan fitur ini ada: cetakan toning sungguhan, yang kimia berusia seabadnya mengembara dalam rona jauh lebih liar daripada tint sintetis mana pun. Produksi tetap di 0,92 untuk menjaga margin bagi kimia sungguhan, menerima wilayah pudar sebagai benar-benar ambigu, dan bertanya kepada kamu, karena foto yang sudah kehilangan 82% warnanya mungkin justru ingin diwarnai ulang oleh pemiliknya. Tabel di atas menyebut 22 foto itu “salah”; pemiliknya mungkin menyebut separuhnya “ya, tolong”.

5 · Apa sebenarnya pewarnaan itu, sejujurnya

Sebuah perkiraan. Model sudah melihat cukup banyak foto untuk tahu rumput itu hijau dan mantel wol 1860-an biasanya biru tua, tetapi ia tidak bisa tahu bahwa gaun nenekmu merah, bukan hijau. Di mana sebuah warna bisa diketahui secara historis, perkiraannya sering meyakinkan; di mana tidak, model memilih sesuatu yang masuk akal. Itulah mengapa penyebutan yang jujur adalah “warna alami, ditambahkan” alih-alih “warna asli, dipulihkan”, dan mengapa opsi untuk membiarkan foto tetap hitam putih ada. Strukturnya (wajah, cahaya, momennya) selalu milik foto itu sendiri, lewat mekanisme di Bagian 1. Trik ruang Lab yang sama berjalan terbalik dalam rendering wajah kami, di mana model wajah hanya menyumbang luminans dan foto mempertahankan kromanya.

6 · Keterbatasan

  • Satu cetakan toning sungguhan. Albumen Herschel menjadi jangkar argumen realisme tetapi hanya satu sampel; korpus bertanggal berisi tintype, albumen, dan cyanotype adalah tindak lanjut yang jelas.
  • Pemudaran sintetis bersikap ramah pada detektor. Pemudaran kromogenik sungguhan bersifat selektif terhadap pewarna (sian mati lebih dulu; itulah sebabnya cetakan 70-an menjadi kemerahan), yang mendorong R̄ naik lebih cepat lagi daripada model seragam kami.
  • Bias pencuplikan, memang disengaja: detail berwarna yang mungil (satu bros merah pada potret sepia) bisa bersembunyi di bawah radar fraksi kromatik. Biasnya sengaja condong ke arah mempertahankan tint.

Referensi

  1. Antic, J. (2019). DeOldify: A Deep Learning based project for colorizing and restoring old images. Open-source software. github.com
  2. Mardia, K. V., & Jupp, P. E. (2000). Directional Statistics. Wiley. (The mean resultant length R̄ behind our hue-concentration statistic.) onlinelibrary.wiley.com
  3. Kodak Lossless True Color Image Suite: 24 uncompressed 768×512 PhotoCD reference images, the classic image-quality test set. r0k.us
  4. Cameron, J. M. (1867). Portrait of Sir John Herschel, a real albumen print with genuine chemical toning. Public domain, via Wikimedia Commons. commons.wikimedia.org
  5. Lange, D. (1936). “Migrant Mother” (Destitute pea pickers in California), Farm Security Administration. Public domain, via Wikimedia Commons. commons.wikimedia.org
  6. ONNX Runtime: the inference engine both our server (CPU) and in-browser (WebGPU/WASM) engines run on. onnxruntime.ai