> For the complete documentation index, see [llms.txt](https://windmising.gitbook.io/bible-deeplearning/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://windmising.gitbook.io/bible-deeplearning/0introduction-1/0introduction.md).

# 7.1 参数范数惩罚

正则化后的目标函数为：

$$
\tilde J(\theta; X, y) = J(\theta;X, y) + \alpha \Omega(\theta)
$$

其中，\
第1项为原目标函数。\
第2项为参数范数惩罚。\
$$\alpha$$为权衡因子。$$\alpha$$越大代表惩罚越大。

最小化正则化后的目标函数可以：\
1\. 减小原目标函数\
2\. 减小参数的规模

一些约定：\
1\. 参数包括每一层的仿射变换的w和b，通常只对w做正则化。\
2\. 可以对每一层设置不同的范数惩罚和权衡因子，但通常对所有层使用相同的权衡因子。