SVM的理解

1.SVM的概念

SVM，英文全称为 Support Vector Machine，中文名为支持向量机，由数学家Vapnik等人早在1963年提出。在深度学习兴起之前，SVM一度风光无限，是机器学习近几十年来最为经典的，也是最受欢迎的分类方法之一。

2.SVM的形象描述

SVM和小时候同桌之间划分的 “三八线” 很相似。

这样的“三八线”就可以看作二维空间中SVM的形象解释，它传递出了以下几点重要的信息：
1.是一条直线（线性函数）；

2.能将桌面分为两个部分，分别属于你和我（具有分类功能，是一种二值分类）；

3.位于课桌正中间，不偏向任何一方（注重公平原则，才能保证双方利益最大化）。

所以SVM本质模型是特征空间中最大化间隔的线性分类器，是一种二分类模型。

3.什么是线性分类器

SVM是一种线性分类器，分类的对象必须要求线性可分，但是实际上还存在很多线性不可分的情况。

例如下面这张图：

上图当中的左边部分就属于线性可分的例子，而右边则是线性不可分。假如样本特征数据是线性不可分的，则这样的线性分割线或分割面是根本不存在的，SVM分类也就无法实现。

在二维的平面课桌上，一条直线就足以将桌面一分为二。但如果扩展到三维空间中，则需要一个平面才能将立体空间区域一分为二。而对于高维空间，能将其一分为二的则称为超平面。

那么我们如何处理线性不可分呢？

SVM的解决办法就是先将数据变成线性可分的，再构造出最优分类超平面。
SVM 通过选择一个核函数 K ，将低维非线性数据映射到高维空间中。原始空间中的非线性数据经过核函数映射转换后，在高维空间中变成线性可分的数据，从而可以构造出最优分类超平面。

那么核函数又有哪些呢

1. 线性核函数，就是简单原始空间中的内积。

2. 多项式核函数，可根据R和d的取值不同，而有不同的计算式。

3. 高斯核函数，可根据实际需要灵活选取参数σ，甚至还可以将原始维度空间映射到无穷维度空间。不过，如果σ取值很大，会导致高次特征上的权重衰减快；如果σ取值很小，其好处是可以将任意的数据映射成为线性可分，但容易造成过拟合现象。 高斯核函数是非常经典，也是使用最广泛的核函数之一。