机器学习期末复习——第五章

一、重点知识点回顾

1. 感知机模型

恰如之前我们所了解过的各种机器学习方法，感知机模型本质上就是一个为了找到一个能够将训练数据中的正例和负例完全正确分开的一个分离超平面的新方法。

如上图所示，一个最基本的感知机模型就长这个样子。唯一需要特别说明的是，对于神经元（图中的圆圈，感知机/神经网络的最基本单元）而言，只有当输入信号的总和超过了某个界限的时候，才会输入1，这里将这个界限称之为阈值，用符号$\theta$表示。上述内容的数学形式可定义为：

$$y=\left\{ \begin{array}{l} 0\left( w_1x_1+w_2x_2\le \theta \right)\\ \\ 1\left( w_1x_1+w_2x_2>\theta \right)\\ \end{array} \right.$$

对于上述这种比较简单的、仅含输入层和输出层的感知机而言，它在完成“找到一个能够将训练数据中的正例和负例完全正确分开的一个分离超平面”这一任务时，仅能够处理与、或、非等简单的线性可分问题，而无法处理非线性可分问题，哪怕是最基础的异或也不行：

而要解决非线性可分问题，就需要考虑使用多层功能神经元，如下图所示：

在这种神经网络结构当中，输入层仅接受输入而不进行函数处理，由隐层和输出层神经元对信号进行加工，最终结果由输出层神经元输出。

2. 误差逆传播算法

误差逆传播（Error BackPropagation，BP）算法，亦称之为反向传播算法，是多层神经网络训练方法中的典型代表，以下直接通过一个具体实例来理解BP算法的计算和训练过程：

对于每个训练样例，BP算法执行以下操作：先将输入实例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果，然后计算输出层的误差，再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来对连接权重和阈值进行调整。上述迭代过程循环进行，直到达到某些停止条件为止。

二、重点题目回顾