决策树

本文目的主要在于记录决策树学习内容，同时也向大家分享有关决策树知识，若有逻辑不自洽的地方还望指正。

1、概述

决策树就是将通过一系列特征判断找到目标标签的模型。

1.1决策树的核心

1、如何从数据表中找出最佳节点和最佳分枝？
2、如何让决策树停止生长，防止过拟合？

1.2决策树的分类

sklearn中的tree模块有以下5个类

本文主讲分类树

1.3决策树建模基本流程

2.建立决策树

2.1引入相关库和模块

from sklearn import tree
from sklearn.datasets import load_wine # 调取sklearn自带的数据集
from sklearn.model_selection import train_test_split # 调取生成训练集和测试集的函数 

2.2数据基本处理

wine = load_wine() # 引入红酒数据集
import pandas as pd
wine = pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)

得到以下表格

2.2生成训练集和测试集

Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data, wine.target, test_size=0.3)
Xtrain.shape # Xtrain的目标值数和特征数

2.3生成一个树

参数criterion用于决定不纯度的计算方法:

clf = tree.DecisionTreeClassifier(criterion='entropy') # 实例化
clf = clf.fit(Xtrain, Ytrain) # 用训练集训练模型
score = clf.score(Xtest, Ytest) # 导入测试集，从接口中调用需要的信息

一般高维度，高噪声用基尼系数，低维度两者不纯度算值没太大变化，其余情况可以在信息熵和基尼系数之间互相试，哪个不纯度更低就用哪个。

2.4画一个树

feature_name = ['酒精', '苹果酸', '灰', '灰的碱性', '镁', '总酚', '类黄酮', '非黄烷类酚类', '花青素', '颜色强度', '色调', 'od280/od315稀释葡萄酒', '脯氨酸']
dot_data = tree.export_graphviz(clf
                                , feature_names=feature_name
                                , class_names=['琴酒', '雪莉', '贝尔摩德']
                                , filled=True
                                , rounded=True
                                , out_file=None)
graph = graphviz.Source(dot_data, encoding='utf-8')
graph.view()

很遗憾这里的中文乱码不能显示

2.5探索决策树

#特征重要性
clf.feature_importances_

[*zip(feature_name,clf.feature_importances_)]

特征重要性

将特征与特征重要性打包，存在为0不能用到的特征

3重要参数

3.1 random_state&splitter

random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。
splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在
分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。

clf = tree.DecisionTreeClassifier(criterion="entropy"
                                 ,random_state=30
                                 ,splitter="random"
                                  )
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)

3.2 剪枝参数

在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。为了让决策树有更好的泛化性，我们要对决策树进行剪枝。剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。sklearn为我们提供了不同的剪枝策略：

3.2.1 max_depth

max_depth用于规定树的深度，但这里的深度非彼深度，它比一般深度多了1，一般从3开始取值

3.2.2 min_samples_leaf&min_samples_split

min_samples_leaf是限制分枝后节点样本最小量，未达到该最小量那么也不会出现分支
min_samples_split是限制分枝所要求的样本量，也就是说未达到该样本量的节点不能分枝
两者一般从5开始取值

clf = tree.DecisionTreeClassifier(criterion='entropy'
                                  , random_state=30
                                  , splitter='random'
                                  , max_depth=3
                                  , min_samples_leaf=10
                                  , min_samples_split=10
                                  )
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)

3.2.3 max_features & min_impurity_decrease

一般max_depth使用，用作树的”精修“max_features限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工,max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法。
min_impurity_decrease限制信息增益的大小，信息增益小于设定数值的分枝不会发生。这是在0.19版本种更新的功能，在0.19版本之前时使用min_impurity_split。

3.3如何确定最优单一参数值

将超参量的值作为横坐标，决策树的度量指标作为纵坐标score。
列举max_depth

test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(max_depth=i + 1
                                      , criterion='entropy'
                                      , random_state=30
                                      )
    clf = clf.fit(Xtrain, Ytrain)
    score = clf.score(Xtest, Ytest)
    test.append(score)

plt.plot(range(1, 11), test, color='red', label='max_depth')
plt.legend()
plt.show()

从图中我们可以得知，max_depth最优取值从3开始

3.4两个接口

apply&predict

# apply返回每个测试样本所在的叶子节点的索引
print(clf.apply(Xtest))

# predict返回每个测试样本的分类/回归结果
print(clf.predict(Xtest))  # 返回标签

4总结

至此八个参数：Criterion
，两个随机性相关的参数（random_state，splitter）
，四个剪枝参数（max_depth
, min_samples_split
, min_samples_leaf
, max_feature
, min_impurity_decrease）
一个属性：feature_importances_

四个接口：fit，score，apply，predict