集成学习方法

集成学习通过建立几个模型组合来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立的学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

随机森林

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

• 随机森林原理过程

  学习算法根据下列算法而建造每棵树：

  • 用N来表示训练用例（样本）的个数，M表示特征数目
    • 一次随机选出一个样本，重复N次（有可能出现重复样本）
    • 随机去选出m个特征，m<<M，建立决策树
  • 采取bootstrap抽样（随机有放回抽样）

  为什么采用Bootstrap抽样？

  • 为什么要随机抽样训练集？
    • 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
  • 为什么要有放回的抽样？
    • 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是“片面的”，也就是说每棵树训练出来都是有很大差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决

API

class sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion='gini',max_depth=None,bootstrap=True,random_state=None,min_samples_split=2)

-随机森林分类器
-n_estimators：integer,optional（default=10）森林里的树木数量
-criterion：string，可选（default=“gini”）分割特征的测量方法
-max_depth：integer或None，可选（默认=无）树的最大深度
-max_features="auto",每个决策树的最大特征数量
	-if "auto",then max_features=sqrt(n_features)
	-if "sqrt",then max_features=sqrt(n_features)
	-if "log2",then max_features=log2(n_features)
	-if None,then max_features=n_features
-bootstrap：Boolean，optional（default=True）是否在构建树时使用放回抽样
-min_samples_split:节点划分最少样本数
-min_samples_leaf:叶子节点的最小样本数
-超参数：n_estimators，max_depth，min_samples_split，min_samples_leaf

使用

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.feature_extraction import DictVectorizer
def forest_demo():
    #获取数据
     path="http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt"
     titanic=pd.read_csv(path)
     x=titanic[["pclass","age","sex"]]
     y=titanic["survived"]
     #数据处理
     #缺失值处理
     x["age"].fillna(x["age"].mean(),inplace=True)
     #转换成字典
     x.to_dict(orient="records")
     x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=22)
    #字典特征抽取
     transfer=DictVectorizer()
     x_train=transfer.fit_transform(x_train)
     x_test=transfer.transform(x_test)
    #随机森林
     estimator=RandomForestClassifier()
     # 加入网格搜索与交叉验证
     param_dict={"n_estimators":[120,200,300],"max_depth":[5,8,25,30]}
     estimator=GridSearchCV(estimator,param_grid=param_dict,cv=3)
     estimator.fit(x_train,y_train)
     # 方法一
     y_predict = estimator.predict(x_test)
     print("直接比对真实值和预测值：n", y_test == y_predict)
     # 方法二
     score = estimator.score(x_test, y_test)
     print("准确率为：n", score)
     # 最佳参数：best_params_
     print("最佳参数:n", estimator.best_params_)
     # 最佳结果：best_score_
     print("最佳结果：n", estimator.best_score_)
     # 最佳估计器：best_estimator_
     print("最佳估计器：n", estimator.best_estimator_)
     # 交叉验证结果：cv_results_
     print("交叉验证结果：n", estimator.cv_results_)
     return None

总结

• 在当前所有算法中，具有极好的准确率
• 能够有效的运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性