二、机器学习基础7（PCA）

主成分分析（PCA ）思想

(1）PCA 就是将高维的数据通过线性变换投影到低维空间上去。
(2）投影思想：找出最能够代表原始数据的投影方法。被 PCA 降掉的那些维度只能是那些噪声或是冗余的数据。
(3）去冗余：去除可以被其他向量代表的线性相关向量，这部分信息量是多余的。
(4）去噪声，去除较小特征值对应的特征向量，特征值的大小反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，要保留。
(5）对角化矩阵，寻找极大线性无关组，保留较大的特征值，去除较小特征值，组成一个投影矩阵，对原始样本矩阵进行投影，得到降维后的新样本矩阵。
(6）完成 PCA 的关键是——协方差矩阵。
协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差。
协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。
(7）之所以对角化，因为对角化之后非对角上的元素都是 0，达到去噪声的目的。对角化
后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含
有较大能量(特征值)的维度，其余的就舍掉，即去冗余。

PCA 算法主要优缺点

降维的必要性及目的

降维的必要性：

多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。

高维空间本身具有稀疏性。一维正态分布有 68%的值落于正负标准差之间，而在十维空间上只有0.02%。

过多的变量，对查找规律造成冗余麻烦。

仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。

降维的目的：

减少预测变量的个数。

确保这些变量是相互独立的。

提供一个框架来解释结果。关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示。

数据在低维下更容易处理、更容易使用。

去除数据噪声。

降低算法运算开销。

KPCA 与 与 PCA  的区别

KPCA 用到了核函数思想，使用了核函数的主成分分析一般称为核主成分分析(Kernelized PCA, 简称 KPCA）。

过在高维空间进行协方差矩阵的特征值分解，然后用和 PCA 一样的方法进行降维。由于 KPCA 需要核函数的运算，因此它的计算量要比 PCA 大很多。