函数间隔与几何间隔

函数间隔 functional margin

对于给定的训练数据集T和超平面(w, b)， 定义超平面(w, b)关于样本$(x_i, y_i)$的函数间隔为：

$$\hat \gamma_i = y_i(w \cdot x_i + b)$$

定义超平面(w, b)关于样本数据集T的函数间隔为：

$$\hat \gamma = \min_{i=1,\cdots,N}\hat \gamma_i$$

即所有$\hat \gamma_i$的最小值。

几何间隔 geometric margin

对于给定的训练数据集T和超平面(w, b)， 定义超平面(w, b)关于样本$(x_i, y_i)$的几何间隔为：

$$\gamma_i = y_i(\frac {w}{||w||} \cdot x_i + \frac{b}{||w||})$$

定义超平面(w, b)关于样本数据集T的函数间隔为：

$$\gamma = \min_{i=1,\cdots,N}\hat \gamma_i$$

即所有$\gamma_i$的最小值。

函数间隔 VS 几何间隔

函数间隔的作用：表示分类预测的正确性的准确度。 函数间隔的缺点：当w和b成比例改变时，超平面没有改变，但函数间隔改变了。 函数间隔的改进：几何间隔

几何间隔的特点：当w和b成比例改变时，几何间隔不会改变。

函数间隔与几何间隔的关系：

$$\text{几何间隔}\gamma = \frac {\text{函数间隔} \hat \gamma}{||w||}$$

当||w||=1时，函数距离 = 几何距离