المدونة / هندسة

هل يستطيع الذكاء الاصطناعي إصلاح التمزقات والخدوش؟ أرقام الجدوى

· تقرير تجربة · إثبات مفهوم، ثم نسخة تجريبية اختيارية مطروحة

نعم، وتسجل هذه التدوينة القياسات التي نقلته من أمل في خارطة الطريق إلى ميزة مطروحة: ما كان الخط يفعله بالمسوحات التالفة، وأرقام إثبات المفهوم التي بررت بناء المرحلة، والنتائج من طرف إلى طرف للنسخة التي تُطرح الآن خلف مربع الاختيار «إصلاح الخدوش والتمزقات».

ما كان الخط يفعله بصورة ممزقة من قبل

لم يكن للترميم مرحلة ملء (inpainting): لا شيء يستطيع إزالة منطقة وتوليف بديل لها. تحققنا من ذلك على صورة شخصية شديدة التشقق: داخل مناطق الوجوه، اختفى التلف عرَضًا (يعيد نموذج الوجوه توليف القصاصة كلها) ثم عاد فجأة عند حد المزج، شق يتوقف عند الخد، وهو ما قد يبدو أسوأ من عدم الإصلاح. وفي كل مكان آخر، كان التلف يُعزَّز: مرور الشحذ يزيد حواف التمزقات حدة كأنها تفاصيل، ويصبغ المُلوِّن خطوط الشقوق البيضاء بوصفها محتوى من المشهد.

إثبات المفهوم

موضوع الاختبار: صورة شخصية بالأبيض والأسود بأبعاد 510×817 عليها شبكة من شقوق المستحلب. العتاد: بيئة معزولة ضعيفة عمدًا تعمل بالمعالج فقط، فكل توقيت هو أسوأ حالة. مرحلتان: شبكة كشف خدوش (من مشروع Microsoft مفتوح المصدر «Bringing Old Photos Back to Life»[2]) تنتج قناع تلف؛ ثم يملأ نموذج الملء LaMa[1] المناطق المقنّعة فقط في بلاطات بحجم 512 px، وكلاهما على مزود المعالج في ONNX Runtime[3].

الشكل 1. قياسات إثبات المفهوم على الصورة الشخصية ذات شبكة الشقوق (بيئة معزولة بالمعالج فقط، أسوأ حالة). تحميل النماذج تكلفة لمرة واحدة على نسخة دافئة.

غطى قناع التلف 18.4% من البكسلات في هذه الصورة شديدة التلف. نتيجة الجودة: أُزيلت شبكة الشقوق عبر الوجه والملابس والخلفية، دون إيجابيات كاذبة ضارة: مفرش الطاولة الدانتيل، الفخ الكلاسيكي لكواشف الخدوش، نجا.

ما طُرح، مقيسًا من طرف إلى طرف

تعمل المرحلة الإنتاجية أولًا في ترتيب الترميم، حتى لا تُلوَّن الشقوق أو تُشحذ أبدًا قبل إزالتها. يعمل الكشف عند ضلع قصير 256 مع توسيع للقناع بمقدار 2 px؛ والملء يجري رقعةً رقعة بالدقة الأصلية، بسقف 12 رقعة لكل صورة تفوز بها أكبر مناطق التلف. يُفرض ثابتان بدلًا من أن يُؤمل تحققهما: لا تُكتب سوى البكسلات المقنّعة أبدًا (كل بكسل غير متضرر في المخرج مطابق بايتًا بايتًا للمدخل)، وبوابة تغطية تتخطى المرحلة كليًا حين تكون المساحة المكتشفة تحت 0.5% (لا شيء يستحق الإصلاح) أو فوق 35% (على الأرجح ملمس أُسيء كشفه لا تلف).

أضافت مراجعة إنتاجية لاحقة مميِّزًا ثانيًا أدق إلى البوابة التلقائية: الشكل. لا تستطيع التغطية وحدها التمييز بين تمزق شعري وضوضاء الكاشف، لكن هندستهما تختلف بمرتبة كاملة: التمزق طويل ورفيع، والضوضاء كتل. لكل مكوّن متصل في القناع، بصندوق إحاطة bw×bh ومساحة بكسلات A، نحسب

elongation = (bw² + bh²) / A ,   auto-repair ⇔ 0.005 ≤ coverage ≤ 0.35 ∧ max elongation ≥ 6(1)

نقاط معايرة من المنصة: رسم تسويقي نظيف يسجل استطالة قصوى قدرها 2.4؛ ومسح شبكة الشقوق يسجل 29.8. تقع عتبة 6 بعيدًا بوضوح عن الاثنين، ويسجل كل تشغيل إنتاجي تغطيته واستطالته حتى يستمر ضبط البوابة على حركة المرور الحقيقية بدلًا من صورتين.

إصلاح التلفكشف ← قناع ← ملء
تلوينإن كانت أحادية اللون
تحسينالصورة كاملة
الوجوهترميم ومزج
الشكل 2. ترتيب الترميم مع تفعيل مرحلة التلف. يعمل إصلاح التلف أولًا حتى تُزال الشقوق قبل أن يتمكن أي شيء من شحذها أو صبغها.
الشكل 3. التوقيتات الدافئة من طرف إلى طرف على صورة الاختبار مع تفعيل مربع الاختيار: 20.2 ث إجمالًا، منها 7.9 ث لمرحلة التلف (البداية الباردة: 35.7 ث). مع إلغاء تفعيل مربع الاختيار، لا تعمل المرحلة أبدًا وتطابق التوقيتات الخط السابق.

تجربتا ضبط: مع إلغاء تفعيل مربع الاختيار، لم تعمل المرحلة أبدًا وطابقت التوقيتات الخط السابق تمامًا. وعلى صورة شبه نظيفة، لم يعلّم الكاشف سوى الـ0.81% من البكسلات التالفة فعلًا (بقايا شقوق في الزوايا وغبار) دون أي إيجابيات كاذبة على الوجوه أو الدانتيل أو الملمس.

لماذا هو اختياري لا افتراضي

نمط الفشل المعروف في إصلاح التلف التلقائي هو الإيجابيات الكاذبة: كاشف يعلّم أسلاك السياج أو خصلات الشعر أو الدانتيل على أنها خدوش سيمحو محتوى حقيقيًا، ونموذج الملء بارع جدًا في محو الأشياء. صورتا ضبط دليل، لا قياس معياري. لذلك تُطرح المرحلة كمربع اختيار صريح، ويسجل كل تشغيل رقم تغطية التلف لديه حتى يمكن ضبط العتبات على حركة المرور الحقيقية قبل أي ترقية إلى الوضع الافتراضي. ورفضنا أيضًا اختصار إرسال الصور إلى API خارجية لتوليد الصور: تعالج هذه الأداة الصور بشكل عابر على بنيتنا التحتية الخاصة، وإعادة التصيير التوليدية الكاملة تنحرف بالهوية؛ الهدف إصلاح التلف، لا إعادة رسم قريبك.

المراجع

  1. Suvorov, R., Logacheva, E., Mashikhin, A., et al. (2022). Resolution-robust Large Mask Inpainting with Fourier Convolutions (LaMa). WACV. arXiv:2109.07161. arxiv.org
  2. Wan, Z., Zhang, B., Chen, D., et al. (2020). Bringing Old Photos Back to Life (the scratch-detection recipe). CVPR. arXiv:2004.09484. arxiv.org
  3. ONNX Runtime: the inference engine both our server (CPU) and in-browser (WebGPU/WASM) engines run on. onnxruntime.ai