تعد دالة الوحدة الخطية المصححة (Relu Activation Function (ReLU إحدى دوال التنشيط الشائعة المستخدمة في الشبكات العصبية الاصطناعية (ANNs). تعتبر دالة ReLU دالة غير خطية تُرجع قيمة الإدخال إذا كانت موجبة ، و تحول قيمته إلى 0 إذا كانت سالبة. رياضيا ، يتم تمثيل دالة ReLU على النحو التالي:
ReLU(x) = max(0, x)حيث x هي قيمة الإدخال.
دالة ReLU هي دالة متعددة التعريف خطية و بسيطة الحساب ، مما يجعلها دالة تنشيط فعالة حسابيًا. و من المعروف أيضًا أنها تعمل بشكل جيد في الشبكات العصبية العميقة وقد اثبتت جدارة عالية في مجموعة واسعة من التطبيقات ، بما في ذلك تطبيقات التعرف على الصور و الكلام و معالجة اللغات الطبيعية وغيرها.
تتمثل إحدى المزايا الرئيسية لدالة ReLU في أنها تساعد في التخفيف من مشكلة تلاشي التدرج الإشتقاقي الذي يمكن أن يحدث مع دوال التنشيط الأخرى مثل الدالة السيني و دالة الظل الزائدية. تحدث مشكلة تلاشي التدرج الإشتقاقي عندما يقترب مشتق دالة التنشيط من الصفر ، مما يجعل من الصعب إعادة نشر التدرجات الإشتقاقية عبر العديد من طبقات الشبكة العصبية العميقة أثناء التدريب. لا تعاني دالة ReLU من هذه المشكلة لأن مشتقها إما 0 أو 1 ، مما يبسط حسابات التدرج الإشتقاقي.
و مع ذلك ، فإن دالة ReLU لا تخلو من بعض العيوب. أحد هذه العيوب الرئيسية هو أن العصبونات الحاضنة لدوال ReLU يمكن أن “تموت”. اي اذا كانت مدخلات العصبونات سالبة لفترة طويلة من الزمن. في مثل هذه الحالات ، يتم تحديث أوزان وتحيزات العصبون بطريقة تجعله دائمًا ينتج 0 ، مما يؤدي إلى إزالته بشكل فعال من الشبكة. هذا يمكن أن يؤدي إلى انخفاض في القوة التمثيلية للشبكة ويمكن أن يؤدي إلى مشكلة الإفراط في التعميم underfitting. مع ذلك لمعالجة هذه المشكلة ، تم اقتراح تعديلات على دالة ReLU ، مثل leaky ReLU و دالة ReLU البارامترية.
