ما هي نماذج الانتباه Attention Models؟
نماذج الانتباه ، أو آليات الانتباه ، هي تقنيات معالجة المدخلات للشبكات العصبية التي تسمح للشبكة بالتركيز على جوانب محددة من المدخلات المعقدة ، واحدًا تلو الآخر حتى يتم تصنيف مجموعة البيانات بأكملها. الهدف هو تقسيم المهام المعقدة إلى مناطق اهتمام أصغر تتم معالجتها بالتتابع. على غرار الطريقة التي يحل بها العقل البشري مشكلة جديدة عن طريق تقسيمها إلى مهام أبسط وحلها واحدة تلو الأخرى. تتطلب نماذج الانتباه تعزيزًا مستمرًا أو تدريبًا على النسخ العكسي لتكون فعالة.
كيف تعمل نماذج الانتباه Attention Models؟
بشكل عام ، يتم التعبير عن نموذج الانتباه كدالة تقوم بتوجية أي استعلام أو طلب مع مجموعة من أزواج القيم الرئيسية إلى المخرج. حيث يكون فيه الطلبات , الإستعلامات , المفاتيح , القيم , و المخرجات النهائية كلها متجهات. ثم يتم حساب ناتج المخرج كمجموع موزون للقيم ، مع تعيين الوزن لكل قيمة معبراً عنه بواسطة دالة توافق الاستعلام مع قيمة المفتاح المقابلة.
في التطبيقات العملية ، يسمح نموذج الانتباه للشبكات العصبية بتقريب آلية الانتباه البصري التي يستخدمها البشر. مثل الأشخاص الذين يعالجون مشهدًا جديدًا ، يدرس النموذج نقطة معينة من الصورة بتركيز مكثف “عالي الدقة” ، مع إدراك المناطق المحيطة بـ “دقة منخفضة” ، ثم يضبط النقطة المحورية عندما تبدأ الشبكة في فهم المشهد.
ما أنواع المشكلات التي تحلها نماذج الانتباه Attention Models؟
في حين أن هذه التقنية قوية و مناسبة جدا لتحسين الرؤية الحاسوبية computer vision ، الإ أن معظم الأبحاث حتى الآن في ما يتعلق بنماذج الانتباه قد ركزت على الترجمة الآلية العصبية (Neural machine translation NMT ). تعتمد أنظمة الترجمة الآلية التقليدية على مكتبات ضخمة من البيانات مصنفة بوظائف معقدة ترسم خرائط للخصائص الإحصائية لكل كلمة.
استخدام آليات أو نماذج الانتباه في NMT هو نهج أبسط بكثير. هنا ، يتم تعيين معنى الجملة في متجه ذي طول ثابت ، والذي يقوم بعد ذلك بإنشاء ترجمة بناءً على هذا المتجه ككل. الهدف ليس ترجمة الجملة كلمة بكلمة ، بل الانتباه إلى المعنى العام. إلى جانب تحسين الدقة بشكل كبير ، فإن هذا النهج التعليمي القائم على الانتباه أسهل بكثير في البناء وأسرع في التدريب.
يمكن مشاهدة الفيديو التالي لتوضح الفكرة أكثر يمكن تفعيل الترجمة العربية للفيديو – الترجمة تلقائية –
