التكبير بالذكاء الاصطناعي مقابل التكعيبي: قياس على 28 صورة
كل أداة صور تعد الآن بـ«التحسين». أداتنا تشغّل Real-ESRGAN[1]، لذا كنا مدينين بجواب لسؤال غير مريح: حين تقيس بالطريقة التي تقيس بها أدبيات معالجة الصور، هل يتفوق الذكاء الاصطناعي فعلًا على الاستيفاء التكعيبي المزدوج البسيط؟ النتيجة من أكثر أنواع الأجوبة إثارة للاهتمام (لا، وأيضًا نعم بشكل قاطع)، وللانقسام بين هذين الجوابين اسم في الأدبيات: مفاضلة الإدراك والتشويه[3]. تعرض هذه الملاحظة القياس المعياري كاملًا، بما في ذلك الحالة التي يخسر فيها الذكاء الاصطناعي بشدة (حبيبات الفيلم)، ولماذا نطرح النموذج الذي يخسر القياس الكلاسيكي رغم ذلك.
كل رقم في هذه الملاحظة قيس على كود خط الإنتاج: النماذج نفسها، والحسابات نفسها. السجلات الخام لكل صورة: e1_sr.json.
1 · الطريقة
المجموعة هي مجموعة Kodak Lossless True Color Suite المكونة من 24 صورة[4] (المجموعة المرجعية بأبعاد 768×512 التي اتكأت عليها أدبيات الضغط والدقة الفائقة ثلاثة عقود)، إضافة إلى أربع قصاصات بأبعاد 768×512 من مسوحات عالية الدقة لصور تاريخية، بينها الأم المهاجرة لدوروثيا لانغ من عام 1936[5]، لأن هذا الموقع موجود من أجل الصور القديمة، والصور القديمة فيها حبيبات فيلم. وذلك التمييز يحسم القسم 3.
نقيس ثلاثة أشياء. الأمانة، بوصفها نسبة ذروة الإشارة إلى الضوضاء على RGB:
والتشابه البنيوي (SSIM[2]، على اللوما، بالنافذة الغاوسية القياسية 11×11، σ = 1.5، K₁ = 0.01، K₂ = 0.03):
والحدة بوصفها مقياس Tenengrad (متوسط مربع مقدار تدرج Sobel)، مبلَّغًا عنه بوصفه نسبة استعادة، Tenengrad(المخرج) ÷ Tenengrad(الصورة المرجعية). نسبة 1.0 تعني أن إعادة البناء تحمل من طاقة الحواف بقدر ما تحمله الصورة الأصلية.
2 · النتائج: المفاضلة، مباشرة
على المقياس الذي يبلّغ عنه الجميع، يتصرف السلّم الكلاسيكي تمامًا كما تتنبأ نظرية أخذ العينات (كل نواة أفضل تشتري كسرًا من الديسيبل)، ويأتي Real-ESRGAN في المرتبة قبل الأخيرة:
| الطريقة | PSNR (dB) | σ | SSIM | نسبة Tenengrad | ms / صورة* |
|---|---|---|---|---|---|
| الجار الأقرب | 25.42 | ±3.42 | 0.673 | 0.382 | 8 |
| الخطي المزدوج | 25.88 | ±3.62 | 0.687 | 0.152 | 236 |
| التكعيبي المزدوج (Catmull-Rom) | 26.29 | ±3.68 | 0.705 | 0.196 | 343 |
| Lanczos-3 | 26.45 | ±3.71 | 0.711 | 0.216 | 876 |
| Real-ESRGAN ×4 (نموذجنا) | 25.38 | ±3.16 | 0.711 | 0.676 | 462 |
*مدخل 192×128، عتاد من فئة الحاويات ذات 2 vCPU؛ النسب قابلة للنقل، والميلي ثوانٍ ليست كذلك. لو كان PSNR هو القصة كلها لطرحنا Lanczos-3 وحذفنا 4.9 MB من الشبكة العصبية. لكن ارسم كل طريقة على محور الأمانة مقابل محور الحدة فينقسم الميدان إلى نوعين:
SSIM (المصمم لتتبع البنية المدركة لا الخطأ الخام[2]) يقسم الفرق وينحاز، بفارق ضئيل، إلى النموذج: أفضل متوسط في الميدان إجمالًا، و0.704 مقابل 0.694 بوضوح أكبر على مجموعة Kodak الفرعية حيث يهيمن الملمس الدقيق. لماذا لا يستطيع الاستيفاء المنافسة على الحدة؟ لأن كل نواة كلاسيكية مؤثر خطي ثابت الإزاحة: لا يستطيع سوى إعادة توزيع الترددات التي نجت من التصغير، ولا يخلق أبدًا تلك التي لم تنجُ. حد نايكويست ليس اقتراحًا. تتحايل المعرفة المسبقة لشبكة GAN على الحد بتغيير السؤال: من «أي إشارة أنتجت هذه العينات؟» (لا جواب له) إلى «من بين كل الصور الطبيعية التي ستُصغَّر إلى هذا، أيها الأكثر معقولية؟»[1] وهناك بالضبط يكمن خطرها أيضًا: المعقول ليس الحقيقي.
3 · مشكلة حبيبات الفيلم، مقيسة كميًا
تخفي المتوسطات النتيجة الأكثر فائدة. قسّم المجموعة فتجد فروق PSNR لكل صورة (Real-ESRGAN − Lanczos-3) ثنائية النمط بحدة: على الإطارات الحديثة النظيفة يبقى النموذج ضمن ديسيبل واحد (بل يتفوق على Lanczos صراحة في واحدة، +0.15 dB)؛ وعلى مسوحات الأفلام التاريخية الأربعة يخسر خسارة كارثية: متوسطا المجموعتين الفرعيتين 28.75 مقابل 32.12 dB:
تحت عدسة مكبرة تصبح الأرقام بديهية: مسح الصورة المرجعية جدار من الحبيبات الصادقة، ويعيد النموذج بورسلينًا. على الأم المهاجرة يهبط 1.71 dB و0.064 SSIM، وسيظل بعض المشاهدين يفضلون المخرج النظيف. المقاييس ليست ذوقًا؛ إنها عقد بشأن أي ذوق تحسّنه. هذا القياس هو سبب تخطي مرحلة التحسين للصور القريبة أصلًا من هدف دقتها (يحتفظ المسح الأرشيفي عالي الدقة ببكسلاته الأصلية وحبيباته)، وسبب أن تصيير الوجوه لدينا يمزج حبيبات الصورة نفسها فوق الوجوه المرممة بدلًا من طرح بورسلين النموذج.
4 · القيود
- لا مقياس إدراكي متعلَّم. كان LPIPS أو DISTS سيشحذ محور الإدراك؛ وTenengrad بديل صادق لكنه أبسط. السجلات الخام منشورة ليتمكن أي شخص من إعادة التقييم.
- تدهور واحد. التكعيبي المزدوج ×4 هو البروتوكول القياسي والحالة الأرحم؛ تضيف المسوحات الحقيقية نوى ضبابية وJPEG وضوضاء (ملاحظة الوجوه تستخدم حزمة التلف كاملة).
- N = 28: كثير لأحجام الأثر هذه (الترتيب مستقر تحت ترك واحد خارجًا)، وقليل لادعاءات المجموعات الفرعية فيما يتجاوز انقسام الحبيبات.
5 · الخلاصة
مقيسةً بوصفها إعادة بناء للإشارة، الدقة الفائقة بالذكاء الاصطناعي أداة استيفاء أسوأ من Lanczos-3: أسوأ بمقدار 1.07 dB هنا، تمامًا كما تتنبأ مفاضلة الإدراك والتشويه[3]. ومقيسةً بوصفها إعادة بناء للصورة الفوتوغرافية (البنية، وطاقة الحواف، وعيناك) فالمسافة ليست قريبة، في الاتجاه الآخر. القراءة العملية لصندوق أحذيتك: للصور التي سيشاهدها الناس، النموذج هو الخيار الافتراضي الصحيح؛ وللأصول الأرشيفية حيث كل حبيبة دليل، احتفظ بالمسح الخام أيضًا. أداة الترميم مبنية حول ذلك الانقسام تحديدًا.
المراجع
- Wang, X., Xie, L., Dong, C., & Shan, Y. (2021). Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data. ICCV Workshops. arXiv:2107.10833. arxiv.org
- Wang, Z., Bovik, A. C., Sheikh, H. R., & Simoncelli, E. P. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing, 13(4), 600–612. doi.org
- Blau, Y., & Michaeli, T. (2018). The Perception-Distortion Tradeoff. CVPR. arXiv:1711.06077. arxiv.org
- Kodak Lossless True Color Image Suite: 24 uncompressed 768×512 PhotoCD reference images, the classic image-quality test set. r0k.us
- Lange, D. (1936). “Migrant Mother” (Destitute pea pickers in California), Farm Security Administration. Public domain, via Wikimedia Commons. commons.wikimedia.org
- ONNX Runtime: the inference engine both our server (CPU) and in-browser (WebGPU/WASM) engines run on. onnxruntime.ai