信息熵 是度量样本集合纯度最常用的一种指标;表示随机变量的不确定度的度量。
熵越大,数据的不确定性越高
熵越小,数据的不确定性越低
确定性,是指数的随机性,熵越小越纯
例如:
例如:
信息增益
信息增益 越大越好,越大则意味着使用属性 a 来进行划分所获得的 “纯度提升” 越大。
谁当根节点? 谁的 信息增益 值最大,则谁当。
有时候用 信息增益 不能准确的划分根节点(例如:ID)引入了 增益率
评价函数:
在构建决策树的过程时,提前停止
决策树构建好后,然后才开始裁剪