L2正则化

L2正则化,又称weights decay L2正则化的是指在代价函数中增加这样的正则项。

公式说明: C0为原始代价函数,可以是二次代价函数、cross-entropy等任意的代价函数。 λ\lambda:正则化参数。 正则化项:只需要对w做正则化,b不需要。

正则化后的代价函数是在weights最小和cost最小之间做权衡。 λ\lambda较大,则偏向于weights更小。 λ\lambda较小,则偏向于cost更小。

Last updated