ما هي خوارزمية التحسين ادام ADAM Optimization Algorithm؟
عبارة عن خوارزمية تحسين بديلة توفر أوزانًا أكثر كفاءة للشبكة العصبية عن طريق تشغيل دورات متكررة من “تقدير العزوم التكيفية adaptive moment estimation”. تمتد خوارزمية ADAM لتشمل الطريقة تكرارية “النزول المتدرج العشوائي” stochastic gradient descent من أجل حل المشكلات غير المحدبة non-convex problems بشكل أسرع و باستخدام موارد أقل مقارنة بالعديد من خوارزميات التحسين الأخرى. تعتبر هذه الخوارزمية أكثر فاعلية مع مجموعات البيانات الكبيرة للغاية من خلال إبقاء التدرجات “أكثر إحكامًا” على العديد من تكرارات التعلم learning iterations.
تجمع خوارزمية ادام بين مزايا اثنين من تقنيات التدرج العشوائي stochastic gradient techniques الأخرى ، التدرجات التكيفية Adaptive Gradients وانتشار جذر المتوسط المربع Root Mean Square Propagation ، لإنشاء نهج تعليمي جديد لتحسين مجموعة متنوعة من الشبكات العصبية.
خوارزمية ادام ADAM Optimization Algorithm مقابل تقنية النزول التدريجي العشوائي الكلاسيكي Classical Stochastic Gradient Descent
مع تقنية النزول المتدرج العشوائي Stochastic Gradient Descent، يتم استخدام معدل تعلم واحد (يسمى ألفا) لجميع تحديثات الوزن. بالإضافة إلى ذلك، معدل التعلم لكل معلمة أي شبكة (الوزن weight) أثناء التدريب لا يتغير.
تقوم تقنية النزول المتدرج العشوائي Stochastic Gradient Descent بحساب معدلات التعلم الفردي التكيفي individual adaptive learning للأوزان المختلفة بشكل منفصل من أجل التحليل البشري اللاحق من خلال أخذ تقديرات العزوم للتدرجات gradients: تقدير العزم الأول (المعروف بالمتوسط الحسابي mean) و تقدير العزم الثاني (المعروف بالتباين غير المتمركز uncentered variance).
من ناحية أخرى ، تقوم خوارزمية ادام بتكييف معدلات تعلم المعلمة في الوقت الفعلي بناءً على متوسط العزوم الأول والثاني. خاصة، عن طريق حساب المتوسط المتحرك الأسي exponential moving average للتدرج وكذلك التدرج التربيعي squared gradient. ثم يمكن للمعلمات beta1 و beta2 التحكم في معدلات الانحلال لكل من المتوسطين المتحركين moving averages. أخيرًا ، يتم تشغيل تقديرات تصحيح التحيز قبل تحديث معلمات التعلم.
