خوارزمية شجرة القرار Decision Tree

مقدمة عن خوازمية شجرة القرار

تعلم شجرة القرار (بالإنجليزيةDecision tree learning)‏ تستخدم شجرة القرار للانطلاق من الملاحظات حول عنصر معين إلى الاستنتاج حول القيمة التي يحملها ذلك العنصر ممثلة بأوراق الشجرة، فيما يمثل العنصر ذاته بفروع الشجرة. وشجرة تعلم القرار هي إحدى طرق النمذجة التنبؤية التي تستخدم في الإحصاء، استخراج البيانات و تعلم الآلة. تأخذ المتغيرات مجموعة منفصلة من القيم في أشجار القرار التي تُدعى بأشجار التصنيف؛ حيث تمثل الأوراق في هيئة الشجرة تصنيفات معينة فيما تمثل الفروع نقاط اقتران منطقي للخصائص التي تؤدي إلى تلك التصنيفات. أما أشجار القرار التي تستهدف متغيرات رقمية ذات قيم مستمرة (أرقام حقيقية) فتسمى بأشجار الانحدار (نسبة إلى الانحدار الخطي). في تحليل اتخاذ القرار، يُمكن أن تستخدم شجرة القرار لتمثيل القرارات وعمليات اتخاذ القرار بصرياً. في عمليات التنقيب في البيانات تصف أشجار القرار البيانات (لكن ناتج شجرة التصنيف يُمكن أن يكون من المدخلات لعملية اتخاذ القرار). يستخدم التدهور على نطاق واسع في العلوم والهندسة بسبب سهولة وضوحها.

تندرج خوارزمية شجرة القرار إلى فئة خوارزميات التعلم تحت الإشراف. على عكس خوارزميات التعلم تحت الإشراف الأخرى ، يمكن استخدام خوارزمية شجرة القرار لحل مشاكل الانحدار والتصنيف أيضًا.

الدافع العام لاستخدام شجرة القرار هو إنشاء نموذج تدريب يمكن استخدامه للتنبؤ بفئة أو قيمة المتغيرات المستهدفة من خلال تعلم قواعد القرار المستنتجة من البيانات السابقة (بيانات التدريب).

مستوى فهم خوارزمية أشجار القرار سهل للغاية مقارنة بخوارزميات التصنيف الأخرى. تحاول خوارزمية شجرة القرار حل المشكلة باستخدام تمثيل الشجرة. تتوافق كل عقدة داخلية للشجرة مع سمة ، وكل عقدة طرفية تتوافق مع تسمية فئة.

فك كود خوارزمية شجرة القرار Decision Tree Algorithm Pseudocode

1- ضع أفضل سمة لمجموعة البيانات في جذر root الشجرة.
2- قسم مجموعة التدريب إلى مجموعات فرعية subsets. يجب عمل مجموعات فرعية بطريقة تحتوي كل مجموعة فرعية على بيانات بنفس قيمة السمة.
3- كرر الخطوة 1 والخطوة 2 على كل مجموعة فرعية حتى تجد العقد  leaf nodes في كل فروع الشجرة.

Decision Tree classifier

في أشجار القرار ، للتنبؤ بمتغير أي فئة class label لسجل ما نبدأ من جذر الشجرة. نقارن قيم سمة الجذر root’s attribute بسمة السجل record’s attribute. على أساس المقارنة ، نتبع الفرع المقابل لتلك القيمة وننتقل إلى العقدة التالية.

نواصل مقارنة قيم سمات السجل مع العقد الداخلية internal nodes الأخرى  للشجرة حتى نصل إلى عقدة طرفية a leaf node مع قيمة فئة متوقعة. كما نعلم كيف يمكن استخدام شجرة القرار النموذجية للتنبؤ بالفئة المستهدفة target class  أو القيمة المستهدفة  target value. الآن دعونا نفهم كيف يمكننا إنشاء نموذج شجرة القرار.

الافتراضات أثناء إنشاء شجرة القرار

فيما يلي بعض الافتراضات التي نقوم بها أثناء استخدام شجرة القرار:

في البداية ، تعتبر مجموعة التدريب training set بأكملها هي الجذر root.

يُفضل أن تكون قيم السمات Feature values مقسمه إلى فئات. إذا كانت القيم مستمرة ، فسيتم تقديرها قبل إنشاء النموذج.

يتم توزيع السجلات بشكل متكرر distributed recursively على أساس قيم السمات.

يتم ترتيب وضع السمات كجذر أو عقدة داخلية للشجرة باستخدام بعض أدوات النهج الإحصائي.

Decision tree model example

تتبع أشجار القرار مجموع المنتجات (Sum of Product (SOP. بالنسبة للصور أعلاه ، يمكنك أن ترى كيف يمكننا أن نتوقع هل يمكننا قبول عرض العمل الجديد؟ واستخدام الكمبيوتر يوميا؟ من اجتياز العقدة الجذرية إلى العقدة الورقية.

إن تمثيل مجموع المنتج Sum of Product . يُعرف مجموع المنتج (SOP) أيضًا بالصيغة العادية المنفصلة Disjunctive Normal Form. بالنسبة للفئة class ، فإن كل فرع من جذر الشجرة إلى عقدة الورقة التي لها نفس الفئة هو اقتران (conjunction(product (منتج) للقيم ، تشكل الفروع المختلفة التي تنتهي في تلك الفئة فصلًا (مجموع).

يتمثل التحدي الأساسي في تنفيذ شجرة القرار في تحديد السمات التي نحتاج إلى اعتبارها عقدة الجذر وكل مستوى. معالجة هذا هو معرفة اختيار السمات. لدينا مقياس اختيار سمات مختلف لتحديد السمة التي يمكن اعتبارها ملاحظة الجذر في كل مستوى.

مقاييس اختيار السمة الافضل:

Information gain

Gini index

إختيار السمات Attributes Selection

إذا كانت مجموعة البيانات تتكون من عدد من السمات يساوي “n” ، فإن تحديد السمة التي يجب وضعها في الجذر أو على مستويات مختلفة من الشجرة كعقد داخلية هي خطوة معقدة. من خلال اختيار أي عقدة لتكون الجذر بشكل عشوائي ، لا يمكن حل المشكلة. إذا اتبعنا نهجًا عشوائيًا ، فقد يعطينا نتائج سيئة بدقة منخفضة.

لحل مشكلة اختيار السمات  attribute selection ، عمل الباحثون واستنبطوا بعض الحلول. واقترحوا استخدام بعض المعايير مثل information Gain ، ومؤشر جيني gini index، و غيرها. ستحسب هذه المعايير القيم لكل سمة attribute. يتم فرز القيم ، ويتم وضع السمات في الشجرة باتباع الترتيب ، بمعنى اخر يتم وضع السمة ذات القيمة العالية (في حالة كسب المعلومات) في الجذر.

عند استخدام information Gain كمعيار ، فإننا نفترض أن السمات فئوية ، وبالنسبة ل gini index ، يُفترض أن السمات مستمرة continuous.

Information Gain

باستخدام information Gain كمعيار ، نحاول تقدير المعلومات التي تحتوي عليها كل سمة. سنستخدم بعض النقاط المستقطعة من نظرية المعلومات information theory. لقياس العشوائية randomness أو عدم اليقين لمتغير عشوائي X يتم تعريفه بواسطة الإنتروبيا Entropy.

لمشكلة تصنيف ثنائية binary classification من فئتين فقط ، فئة إيجابية و فئة سلبية.

إذا كانت جميع الأمثلة إيجابية أو جميعها سلبية ، فإن الإنتروبيا Entropy ستكون صفرًا ، أي منخفضة.

إذا كان نصف السجلات من الفئة موجبة و النصف الاخر من الفئة السلبية ، فإن الإنتروبيا Entropy ستكون واحدا، أي عالية.

H(X)=\mathbb {E} _{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).

من خلال حساب مقياس الانتروبيا Entropy لكل سمة ، يمكننا حساب information Gain. تحسب ال information Gain الانخفاض reduction المتوقع في الإنتروبيا بسبب الفرز على السمة.

يمكننا  أيضا حساب ال information Gain. و للحصول على فهم واضح لحساب information Gain و الإنتروبيا Entropy، سنحاول تنفيذها على عينة بيانات.

مثال

إنشاء شجرة قرار باستخدام “information Gain” كمعيار

Information gain, gini index example

هنا ، لدينا 5 أعمدة منها 4 أعمدة تحتوي على بيانات ثابتة مستمرة والعمود الخامس يتكون من فئة المتغيرات class labels.
يمكن اعتبار السمات A و B و C و D بمثابة متنبئات predictors ويمكن اعتبار العمود E فئة المتغيرات class labels كمتغير مستهدف target variable. لإنشاء شجرة قرار من هذه البيانات ، يتعين علينا تحويل البيانات المستمرة إلى بيانات فئوية.

لقد اخترنا بعض القيم العشوائية لتصنيف كل سمة:

A B C D
>= 5 >= 3.0 >= 4.2 >= 1.4
< 5 < 3.0 < 4.2 < 1.4

هناك خطوتان لحساب information Gain لكل سمة:

  1. حساب الانتروبيا Entropy من الهدف target
  2. يجب حساب الانتروبيا Entropy لكل سمة A ، B ، C ، D. باستخدام معادلة ال information Gain سنطرح هذا الانتروبيا Entropy من إنتروبيا الهدف Target’s Entropy. والنتيجة هي information Gain.

 إنتروبيا الهدف Target’s Entropy: لدينا 8 سجلات من الفئة السالبة negative class و 8 سجلات من الفئة إلموجبة positive class. لذا، يمكننا تقدير إنتروبيا الهدف Target’s Entropy مباشرة على أنها تساوي 1.

Variable E
Positive Negative
8 8

يمكن حساب الإنتروبيا Entropy  باستخدام المعادلة التالية:

E(8,8) = -1*( (p(+ve)*log( p(+ve)) + (p(-ve)*log( p(-ve)) )
= -1*( (8/16)*log2(8/16)) + (8/16) * log2(8/16) )
= 1

Information gain للمتغير A

المتغير A له 12 سجل من أصل 16 لها القيمة >= 5 و 4 سجلات تحمل القيمة < 5.

  1. عدد المتغيرات A الذي يحمل القيمة  >= 5 و تنتمي للفئة الموجبة  class == positive  تساوي 5/12
  2. عدد المتغيرات A الذي يحمل القيمة  >= 5 و تنتمي للفئة السالبة class == negative تساوي 7/12

اذن الانتروبيا Entropy تساوي

Entropy(5,7) = -1 * ( (5/12)*log2(5/12) + (7/12)*log2(7/12)) = 0.9799

  1. عدد المتغيرات A الذي يحمل القيمة  < 5 و تنتمي للفئة الموجبة  class == positive  تساوي 3/4
  2. عدد المتغيرات A الذي يحمل القيمة  < 5 و تنتمي للفئة السالبة class == negative تساوي 1/4

اذن الانتروبيا Entropy تساوي

Entropy(3,1) =  -1 * ( (3/4)*log2(3/4) + (1/4)*log2(1/4)) = 0.81128

ثم نحسب الانتروبيا Entropy للهدف A بجمع كلا الانتروبيا Entropy

Entropy(Target, A) = P(>=5) * E(5,7) + P(<5) * E(3,1) = (12/16) * 0.9799 + (4/16) * 0.81128 = 0.937745

Information Gain (IG) = E(Target) – E(Target, A) = 1- 0.9337745 = 0.062255

Information gain للمتغير B

المتغير B له 12 سجل من أصل 16 لها القيمة >= 3 و 4 سجلات تحمل القيمة < 3.

  1. عدد المتغيرات B الذي يحمل القيمة  >= 3 و تنتمي للفئة الموجبة  class == positive  تساوي 8/12
  2. عدد المتغيرات B الذي يحمل القيمة  >= 3 و تنتمي للفئة السالبة class == negative تساوي 4/12

اذن الانتروبيا Entropy تساوي

Entropy(8,4) = -1 * ( (8/12)*log2(8/12) + (4/12)*log2(4/12)) = 0.39054

  1. عدد المتغيرات B الذي يحمل القيمة  < 3 و تنتمي للفئة الموجبة  class == positive  تساوي 0/4
  2. عدد المتغيرات B الذي يحمل القيمة  < 3 و تنتمي للفئة السالبة class == negative تساوي 4/4

اذن الانتروبيا Entropy تساوي

Entropy(0,4) =  -1 * ( (0/4)*log2(0/4) + (4/4)*log2(4/4)) = 0

ثم نحسب الانتروبيا Entropy للهدف B بجمع كلا الانتروبيا Entropy

Entropy(Target, B) = P(>=3) * E(8,4) + P(<3) * E(0,4) = (12/16) * 0.39054 + (4/16) * 0 = 0.292905

Information Gain (IG) = E(Target) – E(Target, A) = 1- 0.292905= 0.707095

Information gain للمتغير C

المتغير C له 6 سجل من أصل 16 لها القيمة >= 4.2 و 10 سجلات تحمل القيمة < 4.2.

  1. عدد المتغيرات C الذي يحمل القيمة  >= 4.2 و تنتمي للفئة الموجبة  class == positive  تساوي 0/6
  2. عدد المتغيرات C الذي يحمل القيمة  >= 4.2 و تنتمي للفئة السالبة class == negative تساوي 6/6

اذن الانتروبيا Entropy تساوي

Entropy(0,6) = -1 * ( (0/6)*log2(0/6) + (6/6)*log2(6/6)) = 0

  1. عدد المتغيرات C الذي يحمل القيمة  < 4.2 و تنتمي للفئة الموجبة  class == positive  تساوي 8/10
  2. عدد المتغيرات C الذي يحمل القيمة  < 4.2 و تنتمي للفئة السالبة class == negative تساوي 2/10

اذن الانتروبيا Entropy تساوي

Entropy(8,2) =  -1 * ( (8/10)*log2(8/10) + (2/10)*log2(2/10)) = 0.72193

ثم نحسب الانتروبيا Entropy للهدف C بجمع كلا الانتروبيا Entropy

Entropy(Target, C) = P(>=4.2) * E(0,6) + P(< 4.2) * E(8,2) = (6/16) * 0 + (10/16) * 0.72193 = 0.4512

Information Gain (IG) = E(Target) – E(Target, C) = 1- 0.4512 = 0.5488

Information gain للمتغير D

المتغير D له 5 سجل من أصل 16 لها القيمة >= 5 و 11 سجلات تحمل القيمة < 5.

  1. عدد المتغيراتD الذي يحمل القيمة  >= 1.4 و تنتمي للفئة الموجبة  class == positive  تساوي 0/5
  2. عدد المتغيرات D الذي يحمل القيمة  >= 1.4 و تنتمي للفئة السالبة class == negative تساوي 5/5

اذن الانتروبيا Entropy تساوي

Entropy(0,5) = -1 * ( (0/5)*log2(0/5) + (5/5)*log2(5/5)) = 0

  1. عدد المتغيرات D الذي يحمل القيمة  < 1.4 و تنتمي للفئة الموجبة  class == positive  تساوي 8/11
  2. عدد المتغيرات D الذي يحمل القيمة  < 1.4 و تنتمي للفئة السالبة class == negative تساوي 3/11

اذن الانتروبيا Entropy تساوي

Entropy(8,3) =  -1 * ( (8/11)*log2(8/11) + (3/11)*log2(3/11)) = 0.84532

ثم نحسب الانتروبيا Entropy للهدف D بجمع كلا الانتروبيا Entropy

Entropy(Target, D) = P(>=1.4) * E(0,5) + P(< 1.4) * E(8,3) = 5/16 * 0 + (11/16) * 0.84532 = 0.5811575

Information Gain (IG) = E(Target) – E(Target, D) = 1- 0.5811575= 0.4189

Target
Positive Negative
A >= 5.0 5 7
<5 3 1
Information Gain of A = 0.062255
Target
Positive Negative
B >= 3.0 8 4
< 3.0 0 4
Information Gain of B= 0.7070795
Target
Positive Negative
C >= 4.2 0 6
< 4.2 8 2
Information Gain of C= 0.5488
Target
Positive Negative
D >= 1.4 0 5
< 1.4 8 3
Information Gain of D= 0.41189

من نتائج حساب ال Information Gain أعلاه ، يمكننا بناء شجرة قرار. يجب أن نضع السمات على الشجرة وفقًا لقيمها. يجب أن يتم وضع السمة ذات القيمة الأفضل من الأخرى كجذر ويجب تحويل الفرع الذي به إنتروبيا إلى عقدة طرفية. يحتاج الفرع الذي يحتوي على إنتروبيا أكثر من 0 إلى مزيد من الانقسام.

info_gain_final

مؤشر جيني Gini Index

مؤشر جيني Gini Index هو مقياس لقياس عدد المرات التي يتم فيها تحديد عنصر تم اختياره عشوائيًا بشكل غير صحيح. هذا يعني أنه يجب تفضيل السمة ذات مؤشر جيني أقل.

إنشاء شجرة قرار باستخدام “Gini Index” كمعيار

Information gain, gini index example

هنا ، لدينا 5 أعمدة منها 4 أعمدة تحتوي على بيانات ثابتة مستمرة والعمود الخامس يتكون من فئة المتغيرات class labels.
يمكن اعتبار السمات A و B و C و D بمثابة متنبئات predictors ويمكن اعتبار العمود E فئة المتغيرات class labels كمتغير مستهدف target variable. لإنشاء شجرة قرار من هذه البيانات ، يتعين علينا تحويل البيانات المستمرة إلى بيانات فئوية.

لقد اخترنا بعض القيم العشوائية لتصنيف كل سمة:

A B C D
>= 5 >= 3.0 >= 4.2 >= 1.4
< 5 < 3.0 < 4.2 < 1.4

مؤشر جيني Gini Index للمتغير A

المتغير A له 12 سجل من أصل 16 لها القيمة >= 5 و 4 سجلات تحمل القيمة < 5.

  1. عدد المتغيرات A الذي يحمل القيمة  >= 5 و تنتمي للفئة الموجبة  class == positive  تساوي 5/12
  2. عدد المتغيرات A الذي يحمل القيمة  >= 5 و تنتمي للفئة السالبة class == negative تساوي 7/12

gini(5,7) = 1- ( (5/12)2 + (7/12)2 ) = 0.4860

  1. عدد المتغيرات A الذي يحمل القيمة  < 5 و تنتمي للفئة الموجبة  class == positive  تساوي 3/4
  2. عدد المتغيرات A الذي يحمل القيمة  < 5 و تنتمي للفئة السالبة class == negative تساوي 1/4

gini(3,1) = 1- ( (3/4)2 + (1/4)2 ) = 0.375

بإضافة الوزن وجمع كل من مؤشرات جيني:

gini(Target, A) = (12/16) * (0.486) + (4/16) * (0.375) = 0.45825

مؤشر جيني Gini Index للمتغير B

المتغير B له 12 سجل من أصل 16 لها القيمة >= 3 و 4 سجلات تحمل القيمة < 3.

  1. عدد المتغيرات B الذي يحمل القيمة  >= 3 و تنتمي للفئة الموجبة  class == positive  تساوي 8/12
  2. عدد المتغيرات B الذي يحمل القيمة  >= 3 و تنتمي للفئة السالبة class == negative تساوي 4/12

gini(8,4) = 1- ( (8/12)2 + (4/12)2 ) = 0.446

  1. عدد المتغيرات B الذي يحمل القيمة  < 3 و تنتمي للفئة الموجبة  class == positive  تساوي 0/4
  2. عدد المتغيرات B الذي يحمل القيمة  < 3 و تنتمي للفئة السالبة class == negative تساوي 4/4

gin(0,4) = 1- ( (0/4)2 + (4/4)2 ) = 0

بإضافة الوزن وجمع كل من مؤشرات جيني:

\textrm{gini(Target, B) = (12/16) * 0.446 + (4/16) * 0 = 0.3345}

Information gain للمتغير C

المتغير C له 6 سجل من أصل 16 لها القيمة >= 4.2 و 10 سجلات تحمل القيمة < 4.2.

  1. عدد المتغيرات C الذي يحمل القيمة  >= 4.2 و تنتمي للفئة الموجبة  class == positive  تساوي 0/6
  2. عدد المتغيرات C الذي يحمل القيمة  >= 4.2 و تنتمي للفئة السالبة class == negative تساوي 6/6

gini(0,6) = 1- ( (0/8)2 + (6/6)2 ) = 0

  1. عدد المتغيرات C الذي يحمل القيمة  < 4.2 و تنتمي للفئة الموجبة  class == positive  تساوي 8/10
  2. عدد المتغيرات C الذي يحمل القيمة  < 4.2 و تنتمي للفئة السالبة class == negative تساوي 2/10

gin(8,2) = 1- ( (8/10)2 + (2/10)2 ) = 0.32

بإضافة الوزن وجمع كل من مؤشرات جيني:

\textrm{gini(Target, C) = (6/16) * 0+ (10/16) * 0.32 = 0.2}

Information gain للمتغير D

المتغير D له 5 سجل من أصل 16 لها القيمة >= 5 و 11 سجلات تحمل القيمة < 5.

  1. عدد المتغيراتD الذي يحمل القيمة  >= 1.4 و تنتمي للفئة الموجبة  class == positive  تساوي 0/5
  2. عدد المتغيرات D الذي يحمل القيمة  >= 1.4 و تنتمي للفئة السالبة class == negative تساوي 5/5

gini(0,5) = 1- ( (0/5)2 + (5/5)2 ) = 0

  1. عدد المتغيرات D الذي يحمل القيمة  < 1.4 و تنتمي للفئة الموجبة  class == positive  تساوي 8/11
  2. عدد المتغيرات D الذي يحمل القيمة  < 1.4 و تنتمي للفئة السالبة class == negative تساوي 3/11

gin(8,3) = 1- ( (8/11)2 + (3/11)2 ) = 0.397

بإضافة الوزن وجمع كل من مؤشرات جيني:

\textrm{ gini(Target, D) = (5/16) * 0+ (11/16) * 0.397 = 0.273}

wTarget
Positive Negative
A >= 5.0 5 7
<5 3 1
Ginin Index of A = 0.45825
Target
Positive Negative
B >= 3.0 8 4
< 3.0 0 4
Gini Index of B= 0.3345
Target
Positive Negative
C >= 4.2 0 6
< 4.2 8 2
Gini Index of C= 0.2
Target
Positive Negative
D >= 1.4 0 5
< 1.4 8 3
Gini Index of D= 0.273

gini_final

الافراط في التناسب Overfitting

يُعد ال Overfitting  في التركيب مشكلة من المشاكل التي يتم مواجهتها أثناء بناء نموذج شجرة القرار. النموذج يواجه مشكلة ال Overfitting عندما تستمر الخوارزمية في التعمق أكثر في تقليل أخطاء مجموعة التدريب ولكن ينتج عنها زيادة في خطأ مجموعة الاختبار ، أي تنخفض دقة التنبؤ لنموذجنا. يحدث هذا بشكل عام عندما يبني العديد من الفروع بسبب القيم الخطأ في البيانات.

هناك طريقتان يمكننا استخدامهما لتجنب الافراط في التناسب Overfitting هما:

  • مرحلة قبل التقليم Pre-Pruning

في مرحلة قبل التقليم Pre-Pruning ، فإنه يوقف بت بناء الشجرة في وقت مبكر. يفضل عدم تقسيم العقدة إذا كان مقياس الايجابية أقل من قيمة العتبة. ولكن من الصعب اختيار نقطة توقف مناسبة.

  • مرحلة بعد التقليم Post-Pruning

في مرحلة بعد التقليم Post-Pruning أولاً ، يكون التعمق أكثر وأكثر في الشجرة لبناء شجرة كاملة. إذا أظهرت الشجرة مشكلة الافراط في التناسب overfitting problem ، فسيتم التقليم Pruning كخطوة Post-Pruning. نستخدم بيانات التحقق cross-validation data المتبادل للتحقق من تأثير التقليم Pruning . باستخدام بيانات التحقق المتبادل cross-validation data، فإنه يختبر ما إذا كان توسيع العقدة سيؤدي إلى تحسين النموذج أم لا.

إذا أظهر تحسنًا ، فيمكننا الاستمرار بتوسيع هذه العقدة. ولكن إذا أظهرت انخفاضًا في الدقة ، فلا يجب توسيعها ، أي يجب تحويل العقدة إلى عقدة طرفية.

مزايا و سلبيات خوارزمة شجرة القرار

المزايا:

  • من السهل شرح خوارزمية شجرة القرار. ينتج عنه مجموعة من القواعد.
  • يتبع نفس النهج الذي يتبعه البشر بشكل عام أثناء اتخاذ القرارات.
  • يمكن تبسيط تفسير نموذج شجرة القرار المعقد من خلال تصوره.
  • عدد المعلمات الفائقة hyper-parameters المراد ضبطها تكاد تكون خاليًا.

السلبيات:

  • هناك احتمال كبير لظهور مشاكل الفرط في التناسب Overfitting  في خوارزمية شجرة القرار.
  • خوارزمية شجرة القرار بشكل عام ، تعطي دقة تنبؤ منخفضة لمجموعة بيانات مقارنة بخوارزميات التعلم الآلي الأخرى.
  • يعطي Information gain في شجرة القرار ذات المتغيرات الفئوية استجابة متحيزة للسمات ذات العدد الأكبر من الفئات.
  • يمكن أن تصبح الحسابات معقدة عندما يكون هناك العديد من تصنيفات الفئة class labels.

 

المراجع

Dataaspirant. (n.d.). HOW DECISION TREE ALGORITHM WORKS https://dataaspirant.com/2017/01/30/how-decision-tree-algorithm-works

Wikipedia. (n.d.).تعلم شجرة القرار https://ar.wikipedia.org/wiki/تعلم شجرة القرار تعلم_شجرة_القرار

Share on facebook
فاسبوك
Share on twitter
تويتر
Share on linkedin
لينكد إن
Share on whatsapp
واتساب

اترك تعليقاً

المشاركات الاخيرة

أحدث التعليقات

أفحص بحثك بالمجان

رفع الملف