理工酷

SVM

在基础的SVM中我们假设训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。 如下图所示； 然而在现实任务中，原始样本空间也许不存在这样一个能正确划分两类样本的超平面。例如在下图的异或问题就是不可分的。 对于这样的问题，可从这样的样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。若将原始的二维空间映射到一个合适的三维空间，就能找到一个合适的划分超平面。 幸运的是，如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。

核函数定理

只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。事实上，对于一个半正定核矩阵，总能找到一个与之对应的映射，换言之，任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间”的特征空间。

核函数的重要性

特征空间的好坏对于支持向量机的性能至关重要。需要注意的是，在不知道特征映射的形式时，我们并不知道什么样的核函数是合适的，而核函数也仅是隐式地定义了这个特征空间。 于是，“核函数选择”成为支持向量机的最大变数。若核函数选择不合适，则意味着将样本映射到了一个不合适的特征空间，很可能导致性能不佳。

常见的核函数