第3章 k近邻算法

K近邻算法

KNN,k-nearest neighbor

给定一个训练数据集,对新的输入实例,在训练数据集找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。

分类算法,也可以作回归算法

模型

模型由三个基本要素 --- 距离度量、k值的选择、分类决策规则 当距离度量、k值的选择、分类决策规则确定后,其分类结果唯一确定。

算法

kd树。 kd树是一种便于对k维空间中的数据进行快速检索的数据结构。 kd树是二叉树,表示对k维空间的一个划分。 kd树每个结点对应于k维空间划分中的一个超矩形区域。 复用kd树可以省去对大部分数据点的搜索,从而减少搜索的计算量。

Last updated