المدونة / هندسة

كم ينبغي أن يكبّر التحسين بالذكاء الاصطناعي؟ تصميم محدود

· حُدِّث في 24 أغسطس بقياسات التبليط والتكلفة · البيانات: سجل القرار، وسجلات الإنتاج، ومنصة المختبر

نماذج الدقة الفائقة تربيعية: ضاعف ضلع المدخل فتتضاعف الشغل أربع مرات، والانتظار معه. شغّل واحدًا بسذاجة على أي شيء يرفعه الناس فيستغرق مسح ضوئي بحجم 40 ميغابكسل دقائق بينما تستغرق لقطة هاتف ثوانيَ. أما مرحلة التحسين لدينا فتخطط كل مهمة بحيث يكون حمل عمل النموذج بالحجم المحدود نفسه أيًا كان ما يصل. تقدم هذه الملاحظة قاعدة التخطيط، ثم، وهو الجديد في هذه المراجعة، القياسات وراء ادعاءيها الحاملين: أن التكلفة خطية بمجرد تحديدها (~15.6 ث لكل ميغابكسل من المدخل على صندوق الاختبار، r² > 0.999)، وأن الاستدلال بالتبليط خالٍ من الدروز بصريًا فقط لأن كل بلاطة تحمل 8 px من السياق، وهو ما يزيل 87% من طاقة الدروز التي يخلّفها الحشو بالأصفار.

2560 pxهدف الضلع الطويل للمخرجبحيث يكون مدخل النموذج ≤ 640 px
15.6 ث/MPالتكلفة المقيسة، خطيةr² > 0.999 على صندوق الاختبار
3.4×طاقة الدروز عند حشو 0 pxالحدود مقابل الصورة المحيطة
87%من فائض الدروز أُزيلبسياق الإنتاج البالغ 8 px

كل رقم في هذه الملاحظة قيس على كود خط الإنتاج: النماذج نفسها، والحسابات نفسها. السجلات الخام لكل صورة: e6_tiles.json.

1 · قاعدة التخطيط

تستهدف المرحلة مخرجًا بحد أقصى 2560 px على الضلع الطويل، باستخدام نموذج دقة فائقة 4×[1]. وبالعمل عكسيًا، لا يحتاج النموذج أبدًا إلى مدخل أطول من 2560 ÷ 4 = 640 px، لذا يصغّر المخطط مسبقًا كل ما يصل إلى ذلك الحد قبل تشغيل النموذج، فيسقف مدخل النموذج عند نحو 0.41 ميغابكسل سواء كان الملف المرفوع 1 MP أو 40 MP. رسميًا، لملف مرفوع ضلعه الطويل L:

out = min(4L, 2560),   pre = ⌈out / 4⌉,   skip if out < 1.3 · L(1)

تكمل القاعدة ثلاثة حواجز أمان: لا يهبط المخرج أبدًا تحت الدقة الأصلية (يجب ألا يكلفك التحسين بكسلات أبدًا)، والمدخلات القريبة أصلًا من الهدف أو التي تتجاوزه تتخطى المرور كليًا (بند الكسب الأدنى 1.3×، لأن دون ذلك تطمس رحلة إعادة التعيين والنموذج ذهابًا وإيابًا بقدر ما تشحذ تقريبًا)، وتُرمم الوجوه بعد المرور، فتدخل قصاصات الوجوه إلى نموذج الوجوه بالدقة المحسَّنة.

8211024
الملف المرفوع0.84 MP
513640
مدخل النموذج (مصغَّر مسبقًا)0.33 MP
20522560
المخرج (×4)5.25 MP
الشكل 1. الخطة المحدودة لمسح القياس المعياري: يرى النموذج مدخلًا بحجم 0.33 MP أيًا كان حجم الملف المرفوع؛ ويقع مخرجه 4× تمامًا على هدف 2560 px.

2 · لماذا حد أصلًا: التكلفة خطية، بعد أن تجعلها كذلك

الادعاء الذي يحفّز التصميم كله قابل للقياس، فقسناه: مسار التكبير الإنتاجي (بلاطات 192 px، وحشو 8 px، وONNX Runtime CPU[3]) شُغّل على مدخلات من 0.04 إلى 0.39 ميغابكسل على عتاد من فئة الحاويات ذات 2 vCPU:

020004000600000.10.20.30.4ميغابكسلات المدخلالزمن الفعلي (ms)
الشكل 2. الزمن الفعلي مقابل ميغابكسلات المدخل عبر مسار البلاطات الإنتاجي. التوفيق خطي عند ≈15.6 ث لكل ميغابكسل من المدخل (r² > 0.999). الخطي في بكسلات المدخل يبقى تربيعيًا في طول الضلع، وهذا بالضبط سبب تحديد المخطط للضلع قبل تشغيل النموذج: يحوّل الحد «قد يستغرق دقائق» إلى «دائمًا بضع ثوانٍ من زمن النموذج».

تسقط حقيقة هندسية ثانية من المسح نفسه: زمن التشغيل الإجمالي مستقل عمليًا عن حجم البلاطة (من 96 إلى 384 px تقع كلها ضمن 8% من بعضها): الشغل لكل بكسل، وعبء الحشو عند 8 px ضوضاء. لذلك يُختار حجم البلاطة للذاكرة لا للسرعة: 192 px يبقي الموتر الذروي صغيرًا بما يكفي لكومة WASM في محرك الاحتياط في المتصفح.

3 · ضريبة الدروز، ولماذا يدفعها 8 px من السياق

للتبليط نمط فشل نادرًا ما تتوقف عنده الأوراق العلمية: للالتفافات حقول استقبال، لذا فالبلاطة المقطوعة دون سياق محيط خاطئة على طول حدها، ويُظهر الفسيفساء المعاد تجميعه شبكة. نقيسه بمؤشر دروز: متوسط تدرج اللوما عبر أعمدة بكسلات حدود البلاطات مقسومًا على متوسط التدرج في مواضع أخرى؛ 1.0 تعني أن الحدود غير مرئية إحصائيًا:

11.522.533.5024816حشو السياق (px لكل جانب)مؤشر الدروز (1 = غير مرئي)الإنتاج
الشكل 3. مؤشر الدروز مقابل حشو السياق، بلاطات 192 px على إطار Kodak كثيف الملمس. الحشو الصفري يترك حدود البلاطات أكثر انشغالًا بـ3.4× من الصورة المحيطة: خطوط مرئية على شبكة المخرج. ثمانية بكسلات (إعداد الإنتاج) تزيل 87% من الفائض؛ وستة عشر لا تشتري سوى ثلاث نقاط إضافية مقابل ضعف حساب الحشو.
قصاصتان مكبّرتان لمصاريع نافذة؛ تُظهر النسخة غير المحشوة خطوط دروز عمودية مرئية لا تُظهرها النسخة المحشوة
الشكل 4. إعادة البناء نفسها بسياق بلاطات 0 px (يسارًا) و8 px (يمينًا). تقع الانقطاعات المتكررة في اللوحة اليسرى تمامًا على شبكة بلاطات المخرج: حكمت كل بلاطة على حافة عالمها بشكل مختلف.

شكل ذلك المنحنى هو حجة التصميم مصغّرة: أول بكسلين من السياق يشتريان نصف التحسن، وثمانية تشتري عوائد متناقصة، وبعد ثمانية تدفع عبء حشو شبه تربيعي مقابل طاقة دروز لا يستطيع أي مشاهد العثور عليها. (أما هل البكسلات المحسَّنة نفسها تتفوق على الاستيفاء الكلاسيكي فسؤال منفصل له جواب مقيس؛ انظر قياس الـ28 صورة، حيث يتنازل النموذج عن 1.07 dB من PSNR لصالح Lanczos-3 ويستعيد 3.1× من طاقة الحواف[2].)

4 · التوقيتات المقيسة، من طرف إلى طرف

القياس المعياري: مسح ضوئي بالأبيض والأسود بأبعاد 821×1024 رُمم إلى 2052×2560، ولُوِّن، بوجه واحد، على نسخة دافئة.

الشكل 5. الزمن الفعلي لكل مرحلة في تشغيل القياس المعياري الدافئ، 6.4 ث إجمالًا. مرور التحسين المحدود ليس المرحلة المهيمنة.

من طرف إلى طرف في الإنتاج على الصورة نفسها: 68 ث في بداية باردة (تحميل أوزان النماذج) و32 ث دافئة. للمقارنة: الخط السابق، الذي لم يكبّر شيئًا ولم يلمس سوى الوجوه، كان يعمل في 23–34 ث دافئة؛ فمرور الصورة الكاملة المحدود لا يضيف شيئًا يُذكر إلى الزمن الفعلي، لأن مدخله صغير بحكم البناء. وحين تعمل المهمة نفسها داخل المتصفح (الاحتياط التلقائي)، استغرق مسح ضوئي بأبعاد 1000×1223 مدة 340.8 ث على حاسوب مكتبي بمعالج Apple silicon مع WebGPU (الخطة المحدودة نفسها، بنحو 10× من الزمن الفعلي). الحد هو ما يبقي حتى تلك الحالة الأسوأ صالحة للاستخدام بدلًا من أن تكون بلا حدود.

5 · ما رُفض

الدقة الفائقة القائمة على الانتشار (أبطأ بكثير من أن تصلح لأداة تفاعلية على منظومتنا)، ونماذج ترميم الوجوه الأكبر كخيار افتراضي (يتضخم الزمن لكل وجه في الصور الجماعية)، وإرسال الصور إلى واجهات API خارجية للاستدلال على معالجات الرسوميات: ستغادر الصور بنيتنا التحتية، وهو ما يستبعده وعد الخصوصية. تبقي الخطة المحدودة مكاسب الجودة حيث يدركها المشاهد فعلًا، صورة بحجم الشاشة، بدلًا من الدفع تربيعيًا مقابل بكسلات لا يراها أحد.

6 · القيود

هدف 2560 px قرار منتج لا قيمة مثلى: تستفيد المطبوعات من دقة أعلى، وقد ترفع فئة مدفوعة مستقبلية الحد. والتوقيتات أعلاه هي الحالة الشائعة: الصور المكتظة بالوجوه تقضي وقتًا أطول نسبيًا في مرحلة الوجوه، التي لا يغطيها حد التحسين. ومؤشر الدروز أداة إحصائية: يشهد بأن الحدود هادئة في المتوسط، لا بأنه لا يمكن لأي ملمس عدائي أن يكشف واحدًا منها أبدًا.

المراجع

  1. Wang, X., Xie, L., Dong, C., & Shan, Y. (2021). Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data. ICCV Workshops. arXiv:2107.10833. arxiv.org
  2. Kodak Lossless True Color Image Suite: 24 uncompressed 768×512 PhotoCD reference images, the classic image-quality test set. r0k.us
  3. ONNX Runtime: the inference engine both our server (CPU) and in-browser (WebGPU/WASM) engines run on. onnxruntime.ai