机器学习期末复习——第十章

一、重点知识点回顾

1. 低维嵌入

在高维空间当中，数据会变得极其稀疏，因为数据点之间的距离会急剧增大，数据分布更倾向于集中在高维超立方体的边缘或角落，这导致许多在低维空间中有效的距离度量和统计方法（如最近邻查询）逐渐失效。在机器学习中，这表现为为保持相同的样本密度所需的数据量呈指数级增长，极易引发过拟合，即模型过度学习训练数据中的噪声而泛化能力下降。上述问题统称为“维度灾难”。

2. 主成分分析

主成分分析（Principal Component Analysis，PCA）是最为常用的一种降维方法，其核心思想是通过线性变换将一组可能存在相关性的变量转换为少数几个线性无关的新变量，即主成分。这些主成分按照方差大小依次排列，其中第一主成分承载原始数据的方差信息最多，后续主成分所含方差依次递减。该方法的主要目的是在保留大部分数据关键信息的前提下，实现对高维数据的降维处理，从而简化数据集结构，便于后续分析和可视化。

二、重点题目回顾