ما هي تسوية أو معالجة الدفعات Batch Normalization؟

تسوية الدُفعات هي طريقة تُستخدم لجعل الشبكات العصبية الاصطناعية أسرع وأكثر ثباتًا من خلال تسوية أو معالجة مدخلات الطبقات عن طريق إعادة التمركز وإعادة التوسع. تسوية أو معالجة الدُفعات هو أسلوب من أساليب التعلم الخاضع للإشراف يحول مخرجات الطبقة البينية الخاصة بالشبكة العصبية إلى تنسيق قياسي يسمى تسوية أو معالجة normalizing. يؤدي هذا بشكل فعال إلى “إعادة تعيين resets” توزيع ناتج الطبقة السابقة لتتم معالجته بكفاءة أكبر بواسطة الطبقة اللاحقة.

ما هي مزايا تسوية الدفعات؟

يؤدي هذا النهج إلى جعل معدلات التعلم learning rates أسرع نظرًا لأن التسوية تضمن عدم وجود قيمة تنشيط عالية أو منخفضة جدًا ، بالإضافة إلى السماح لكل طبقة بالتعلم بشكل مستقل عن الطبقات الأخرى. أيضا تؤدي تسوية المدخلات إلى تقليل معدل “التسرب dropout” أو فقد البيانات بين طبقات المعالجة. مما يحسن الدقة بشكل كبير في جميع أنحاء الشبكة العصبية.

كيف تعمل تسوية الدفعات؟

لتعزيز استقرار شبكة التعلم العميق ، تعمل تسوية الدُفعات على التأثير على إخراج طبقة التنشيط السابقة بطرح متوسط ​​الدُفعة batch mean ، ثم القسمة على الانحراف المعياري للدُفعة batch’s standard deviation.

نظرًا لأن هذا التحول أو التحجيم للمخرجات بواسطة معلمة مُهيأة عشوائيًا يقلل من دقة الأوزان في الطبقة التالية ، يتم تطبيق طريقة النزول المتدرج العشوائي stochastic gradient descent لإزالة هذه التسوية في حالة ما إذا كانت دالة الفقد loss function عالية جدًا.

والنتيجة النهائية هي أن تسوية الدُفعات تضيف معلمتين إضافيتين قابلتين للتدريب إلى الطبقة: قيمة الإخراج التي تم تسويتها مضروبة بمعامل جاما (الانحراف المعياري) ، ومعامل بيتا (المتوسط البياني) الإضافي. هذا هو السبب في أن تسوية الدُفعات تعمل جنبًا إلى جنب مع طريقة النزول المتدرج gradient descents بحيث يمكن “إلغاء التسوية denormalization” البيانات ببساطة عن طريق تغيير هذين الوزنين لكل ناتج output. يؤدي هذا إلى تقليل فقد البيانات وزيادة الاستقرار على طول الشبكة عن طريق تغيير جميع الأوزان الأخرى ذات الصلة.

 

Share on facebook
فاسبوك
Share on twitter
تويتر
Share on linkedin
لينكد إن
Share on whatsapp
واتساب

اترك تعليقاً

المشاركات الاخيرة

أحدث التعليقات

أفحص بحثك بالمجان

رفع الملف