前言

       对于我们训练处的模型的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量(performance measure).
       性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果;这意味着模型的"好坏"是相对的，什么样的模型是好的?不仅取决于算法和数据，还决定于任务需求.
       对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive) 、假正例 (false positive) 、真反倒(true negative)假反例 (false negative) 四种情形，令 TP FP TN FN 分别表示其对应的样例数，则显然 TP+FP+TN+FN=样例总数.分类结果的"混淆淆矩" (co usion matrix)如下 ：

混淆矩阵

图 1 混淆矩阵 一 （摘自西瓜书）

       TP一一 将正类预测为正类数（预测对了）

       FN一一 将正类预测为负类数（预测错了）

       FP一一 将负类预测为正类数（预测错了）

       TN 一一将负类预测为负类数（预测对了）

图 2 混淆矩阵 二

查准率和查全率

        查准率（precision）：模型预测的所有目标中，预测正确的比例。查准率有利于突出结果的相关性

        查全率（recall） ：查全率又称召回率。所有的真实（正）目标中，预测正确的目标比例。

        查准率和查全率是一对矛盾的度量.一般来说，查准率高时，查全率往往偏低;而查全率高时，查准率往往偏低.

P–R曲线

        以查准率为纵轴、查全率为横轴作图 ，就得到了查准率–查全率曲线，简称 P-R 线，显示该曲线的图称为 “P-R图"

P-R图 （取自西瓜书）

       
P-R图直观地显示出学习器在样本总体上的查全率、 查准率。每一个模型都有相应的P-R曲线，通过比较不同模型的P-R曲线，来评判模型的优劣，若一个模型A的 P-R 曲线被另一个模型B的曲线完全"包住 则可以说B的性能优于A，但是实际中很少出现这种情况。大部分曲线间都含有交叉。

        因此我们需要一个综合的度量"平衡点"，它是"查准率= 查全率"时的取值。此时查准率等于查全率，他们的值越高，则模型的效果越好。

       为什么PR曲线面积越大模型就会越好呢（排除过拟合的情况）？

       我们训练出的模型，在该模型下我们希望我们所想要预测的对象尽可能多的预测出来，而且预测的对的结果，尽可能的都是对的。查准率就是我们预测出来的正样本，有多少实际为正。查全率就是预测为正的样本占真实为正的样本比例。所以PR曲线越凸越好（p：y，r：x），故面积越大。

IOU（交并比）

       在目标检测任务中，通常会使用交并比（Intersection of Union，IoU）作为衡量指标，来衡量两个矩形框之间的关系。例如在基于锚框的目标检测算法中，我们知道当锚框中包含物体时，我们需要预测物体类别并微调锚框的坐标，从而获得最终的预测框。此时，判断锚框中是否包含物体就需要用到交并比，当锚框与真实框交并比足够大时，我们就可以认为锚框中包含了该物体；而锚框与真实框交并比很小时，我们就可以认为锚框中不包含该物体。此外，在后面NMS的计算过程中，同样也要使用交并比来判断不同矩形框是否重叠。

摘自百度图库

交并比公式

MAP（Mean Average precision）

       即各个类别AP的平均值

        AP：P-R曲线下的面积

        下图不同交并比下的map曲线，展现了目标检测在VOCO和COCO数据集中的性能

摘自 object detection in 20 years a survey

论文地址
object detection in 20 years a survey.