ما هي التسوية الحزمية Batch Normalization؟
تعد التسوية الحزمية تقنية تستخدم في التعلم العميق لتسريع عملية التدريب. تتم هذه العملية عن طريق ضبط تنشيط الطبقات في الشبكة العصبية لكل حزمة صغيرة من البيانات أثناء التدريب. حيث تساعد هذه التقنية على تقليل قيمة تحول المتغير الداخلي Internal Covariate Shift. تحول المتغير الداخلي هو التغيير في توزيع تنشيط الشبكة بسبب التغيير في معلمات الشبكة أثناء التدريب. أيضا تساعد هذه التقنية على تحسين الاستقرار في الشبكة بالاضافة إلى تسريع تدريب الشبكة. التسوية الحزمية تُستخدم لجعل الشبكات العصبية أسرع وأكثر ثباتًا. و ذلك من خلال تسوية أو معالجة مدخلات الطبقات عن طريق إعادة التمركز وإعادة التوسع. التسوية الحزمية هي أسلوب من أساليب التعلم الخاضع للإشراف. الذي يحول مخرجات الطبقة البينية إلى تنسيق قياسي يسمى ضبط أو معالجة. يؤدي هذا بشكل فعال إلى إعادة تعيين توزيع ناتج الطبقة السابقة لتتم معالجته بكفاءة أكبر بواسطة الطبقة اللاحقة.
ما هي مزايا التسوية الحزمية؟
يؤدي هذا النهج إلى جعل معدلات التعلم أسرع. و ذلك نظرًا لأن التسوية تضمن عدم وجود قيمة تنشيط عالية أو منخفضة جدًا. هذا بالإضافة إلى السماح لكل طبقة بالتعلم بشكل مستقل عن الطبقات الأخرى. أيضا تؤدي تسوية المدخلات إلى تقليل معدل التسرب أو فقد البيانات بين طبقات المعالجة. مما يحسن الدقة بشكل كبير في جميع أنحاء الشبكة العصبية.
التسوية الحزمية لها مزايا عديدة منها:
- تحسين استقرار التدريب: تساعد التسوية الحزمية على تقليل التحول المتغير الداخلي و الذي بدوره يمكن أن يحسن استقرار عملية التدريب.
- تقارب أسرع: من خلال تحسين استقرار عملية التدريب ، يمكن لمطابقة الدُفعات أن تسمح بتقارب أسرع و وقت تدريب أقصر. ويمكنه أيضًا تمكين استخدام معدلات تعلم اعلى.
- تأثير التنظيم: تعمل التسوية الحزمية كمنظم ، مما يساعد على تقليل فرط التخصيص وتحسين أداء التعميم للنموذج.
- أداء أفضل مع شبكات أعمق: تعد التسوية الحزمية فعالة بشكل خاص في الشبكات العميقة ، حيث يمكن أن تساعد في معالجة مشكلة تلاشي التدرج الاشتقاقي.
- أكثر قوة في التهيئة: تعد التسوية الحزمية أكثر قوة في اختيار تهيئة الاوزان ، والتي يمكن أن تجعل عملية التدريب أكثر موثوقية.
- تدفق التدرج الاشتقاقي المحسّن: يمكن للتسوية الحزمية تحسين تدفق التدرج الاشتقاقي عبر الشبكة ، مما قد يساعد في تجنب مشكلة انفجار التدرج الاشتقاقي.
كيف تعمل التسوية الحزمية Batch Normalization؟
لتعزيز استقرار شبكة التعلم العميق ، تعمل التسوية الحزمية على التأثير على إخراج طبقة التنشيط السابقة بطرح متوسط الحزمة ، ثم القسمة على الانحراف المعياري للحزمة.
نظرًا لأن هذا التحول أو التحجيم للمخرجات بواسطة معلمة مُهيأه عشوائيًا يقلل من دقة الأوزان في الطبقة التالية ، يتم تطبيق طريقة النزول المتدرج الاشتقاقي العشوائي لإزالة هذه التسوية في حالة ما إذا كانت دالة الفقد عالية جدًا.
و في الاخير النتيجة النهائية هي أن التسوية الحزمية تضيف معلمتين إضافيتين قابلتين للتدريب إلى الطبقة: قيمة الإخراج التي تم تسويتها مضروبة في معامل جاما (الانحراف المعياري) ، ومعامل بيتا (المتوسط البياني) الإضافي. هذا هو السبب في أن التسوية الحزمية تعمل جنبًا إلى جنب مع طريقة النزول المتدرج الاشتقاقي بحيث يمكن إلغاء ضبط “denormalization” البيانات ببساطة عن طريق تغيير هذين الوزنين لكل مخرج. يؤدي هذا إلى تقليل فقد البيانات وزيادة الاستقرار على طول الشبكة عن طريق تغيير جميع الأوزان الأخرى ذات الصلة.
