二、机器学习基础10（代价与偏差）

代价敏感错误率与代价曲线

代价敏感错误率：

其数学表达式为：

代价曲线：

在均等代价时，ROC 曲线不能直接反应出模型的期望总体代价，而代价曲线可以。

代价曲线横轴为[0,1]的正例函数代价;代价曲线纵轴维[0,1]的归一化代价。

偏差与方差

泛化误差可分解为偏差、方差与噪声之和，即

generalization error=bias+variance+noise

噪声：描述了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

假定期望噪声为零，则泛化误差可分解为偏差、方差之和，即

generalization error=bias+variance

偏差（bias）：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据。

方差（variance）：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方
差越大，数据的分布越分散，模型的稳定程度越差。如果模型在训练集上拟合效果比较优秀，
但是在测试集上拟合效果比较差劣，则方差较大，说明模型的稳定程度较差，出现这种现象可
能是由于模型对训练集过拟合造成的。

偏差大，会造成模型欠拟合；
方差大，会造成模型过拟合。 

使用标准差的原因

与方差相比，使用标准差来表示数据点的离散程度有 3 个好处：
1、表示离散程度的数字与样本数据点的数量级一致，更适合对数据样本形成感性认知。
2、表示离散程度的数字单位与样本数据的单位一致，更方便做后续的分析运算。
3、在样本数据大致符合正态分布的情况下，标准差具有方便估算的特性：66.7%的数据点落在平均值前后 1 个标准差的范围内、95%的数据点落在平均值前后 2 个标准差的范围内，而99%的数据点将会落在平均值前后 3 个标准差的范围内。