7.1 参数范数惩罚

正则化后的目标函数为：

$$\tilde J(\theta; X, y) = J(\theta;X, y) + \alpha \Omega(\theta)$$

其中， 第1项为原目标函数。 第2项为参数范数惩罚。 $\alpha$为权衡因子。$\alpha$越大代表惩罚越大。

最小化正则化后的目标函数可以： 1. 减小原目标函数 2. 减小参数的规模

一些约定： 1. 参数包括每一层的仿射变换的w和b，通常只对w做正则化。 2. 可以对每一层设置不同的范数惩罚和权衡因子，但通常对所有层使用相同的权衡因子。