线性回归——实验
一、实验要求
在计算机上验证和测试最小二乘法和线性回归实验,sklearn的线性回归算法。
二、实验目的
1、掌握最小二乘法的原理
2、能够理解线性回归和多元线性回归算法;
3、掌握线性回归评价指标和多项式特征算法;
4、掌握KNN,贝叶斯,决策树和SVM如何进行线性回归
5、掌握逻辑回归分类算法
三、实验内容
实验步骤
1.请参考线性回归.pdf文档,完成基于最小二乘法的一元线性回归,多元线性回归的实现。并用测试用多元线性回归,对波士顿房价进行预测。
一元线性回归:
多元线性回归:
用多元线性回归,对波士顿房价进行预测:
2.请参考线性回归2.pdf,同时对比,线性回归,以及KNN回归,贝叶斯回归,决策树回归和SVR回归,五个回归算法对波士顿房价预测的差异,哪个回归算法R方分数高。
最小二乘法线性回归:
KNN回归:
贝叶斯回归:
决策树回归:
SVR回归:
R方:
经对比:KNN回归算法R方分数高
2.请参考线性回归2.pdf和分类汇总.ipynb,同时对比逻辑回归,针对基本数据,交叉数据,太极数据,圆环数据,异或数据,多类数据的分类边界线。
逻辑回归边界对比:
逻辑回归加入多项式回归:分类边界效果变差
基本(表现较好)与交叉数据集:
太极与圆环数据集:
异或与多分类数据集:
四、实验总结
理解了线性回归和多元线性回归算法,更加清楚了各算法回归的分类边界效果。