机器学习期末复习——第六章

一、重点知识点回顾

1. 支持向量机

2. 核函数

在支持向量机（SVM）中引入核函数，主要是为了解决数据在原始特征空间中线性不可分的问题，并巧妙地避免了直接在高维空间中进行复杂计算带来的巨大开销。核函数通过所谓的“核技巧”，能够将数据隐式地映射到更高维甚至无限维的特征空间，使得在这个新空间中，原本复杂的非线性决策边界转化为一个线性超平面，从而可用线性方法进行分类。最关键的是，它通过直接计算原始空间中数据点的核函数（即映射后向量在高维空间的内积），绕开了显式执行高维映射和计算高维内积的步骤，从而实现了计算效率的巨大提升。

3. 软间隔

在前面的讨论中，我们一直假定训练样本在样本空间或特征空间中是线性可分的，即存在一个超平面能够将不同类的样本完全划分开。然而，在现实任务当中，这往往是不现实的。因此，我们可以允许支持向量机在一些样本上出错，即引入“软间隔”的概念。

之前提到过，硬间隔支持向量机的损失函数是：

$$\underset{w,b}{\min}\frac{1}{2}\lVert w \rVert ^2,\ s.t.\ y_i\left( w^Tx_i+b \right) \ge 1,\ i=1,2,...,m$$

现在我们可以在这个表达式中添加一项松弛变量$\xi_i \ge 0$，使得支持向量机允许某些样本不满足约束，但是也要在最大化间隔的同时，不满足约束的样本尽可能少。于是，软间隔支持向量机的损失函数是：

$$\underset{w,b}{\min}\frac{1}{2}\lVert w \rVert ^2+C\sum_{i=1}^m{\xi _i},\ s.t.\ y_i\left( w^Tx_i+b \right) \ge 1-\xi _i,\ \xi _i\ge 0,\ \ i=1,2,...,m$$

其中，当$C$为无穷大时，上式迫使所有样本均满足约束，此时软间隔支持向量机等价于硬间隔支持向量机；而当$C$取有限值时，上式允许一些样本不满足约束。

4. 支持向量回归

对于样本(x,y)，传统回归模型通常直接基于模型输出f(x)与真实输出y之间的差别来计算损失，当且仅当f(x)与y完全相同时，损失才为0。与此不同的是，支持向量回归（Support Vector Regression，SVR）假设我们能够容忍f(x)与y之间最多有$\epsilon$的偏差，当且仅当f(x)与y之间的差别绝对值大于$\epsilon$时才计算损失。