简明决策树教程（9）：基尼不纯度

基尼不纯度越小，纯度越高，集合的有序程度越高，分类的效果越好。基尼不纯度为 0 时，表示集合类别一致。

基尼不纯度的大概意思是，一个随机事件变成它的对立事件的概率。

例如，一个随机事件X ：P(X=0) = 0.5，P(X=1)=0.5

那么基尼不纯度就为：

P(X=0)(1 - P(X=0)) + P(X=1)(1 - P(X=1)) = 0.5

一个随机事件Y ：P(Y=0) = 0.1，P(Y=1)=0.9

那么基尼不纯度就为：

P(Y=0)(1 - P(Y=0)) + P(Y=1)(1 - P(Y=1)) = 0.18

很明显 X比Y更混乱，因为两个都为0.5，很难判断哪个发生。而Y就确定得多，Y=0发生的概率很大，而基尼不纯度也就越小。所以基尼不纯度也可以作为衡量系统混乱程度的标准。