ما هو إكتشاف الشذوذ في تحيليل البيانات؟
إكتشاف الشذوذ هو تحديد الأحداث النادرة ، العناصر ، أو الأحداث المثيرة للقلق نظرًا لاختلاف خصائصها عن غالبية خصائص البيانات المعالجة. يمكن أن تتمثل الانحرافات ، أو القيم المتطرفة كما يطلق عليها أيضًا ، على شكل أخطاء أمنية ، عيوب هيكلية ، أو حتى على شكل احتيال مصرفي.
هناك ثلاثة أشكال رئيسية لاكتشاف الشذوذ في البيانات:
اكتشاف الشذوذ بدون إشراف: تكتشف هذه التقنية الحالات الشاذة في مجموعة البيانات غير المسماة بمقارنة نقاط البيانات مع بعضها البعض ، وإنشاء مخطط أساسي “عادي” للبيانات ، والبحث عن الاختلافات بين النقاط.
اكتشاف الشذوذ الخاضع للإشراف: في المقابل ، يتطلب اكتشاف الشذوذ الخاضع للإشراف تدريب مجموعة البيانات باستخدام تسميات محددة “طبيعية” و “غير طبيعية”.
اكتشاف الشذوذ شبه الخاضع للإشراف: تتطلب تقنية اكتشاف الشذوذ شبه الخاضعة للإشراف تدريب المصنف على مجموعة “طبيعية” من البيانات لإنشاء إعداد مسبق ، ثم تحليل البيانات المقصودة للكشف عن الحالات الشاذة. في الأساس ، تسمح هذه التقنية للمصنف بإنشاء الميزة او المسمى lebel.
تقنيات إكتشاف الشذوذ
هناك العديد من التقنيات الشائعة لاكتشاف الشذوذ. فمثلا تقنية التحليل العنقودي cluster analysis تعتبر واحدة من أهم التقنيات المستخدمة لاكتشاف الشذوذ. التحليل العنقودي cluster analysis هو إسلوب تحليل البيانات ذات النشاط المترامي المشتت ، بدلاً من البيانات القليلة المحدودة. حيث ان التقنيات الأخرى -اي تقنيات اكتشاف الشذوذ- ستفشل في حالة التعامل مع هكذا بيانات ، خاصة العمليات غير الخاضعة للإشراف ، إذا تم تكليفها باكتشاف الشذوذ. تشمل التقنيات الأخرى شبكات Bayesian Networks ، ونماذج Hidden Markov ، و آلة المتجهات الداعمة الأحادية one-class support vector machines.
تطبيقات إكتشاف الشذوذ
يستخدم الكشف عن العيوب في تطبيقات مثل كشف الاحتيال والتطفل ، ومراقبة صحة النظام ، ومراقبة اضطراب النظام البيئي. على سبيل المثال ، في الكشف عن الاحتيال ، يمكن للبنك تحليل سلسلة من بيانات المعاملات لرصد واكتشاف الحالات المحتملة للاحتيال. في مراقبة اضطراب النظام البيئي ، يتم تحليل بيانات البيئة الطبيعية لمعرفة الحالات الشاذة التي يمكن أن تساعد في تحسين عمليات مثل اكتشاف الزلازل والتسونامي.
اكتشاف الشذوذ وتعلم الآلة
كما نوقش أعلاه ، تعتمد التقنيات المختلفة للكشف عن الانحرافات على أشكال التعلم الآلي. نظرًا لأنه يتم تدريب المصنف على فهم البيانات وتسميتها ، فإنه يعمل على تحسين دقتها. غالبًا ما يتم استخدام اكتشاف الشذوذ في المعالجة المسبقة كطريقة لإزالة البيانات الشاذة من مجموعة البيانات. في حالات التعلم الخاضع للإشراف ، عادةً ما تؤدي إزالة البيانات الشاذة إلى زيادة – ذات دلالة إحصائية – في الدقة.
لتوضيح الفكرة أكثر يمكنكم مشاهدة الفيديو التالي يمكن تفعيل الترجمة العربي – الترجمة تلقائية –
