L2正则化
L2正则化,又称weights decay L2正则化的是指在代价函数中增加这样的正则项。
公式说明: C0为原始代价函数,可以是二次代价函数、cross-entropy等任意的代价函数。 :正则化参数。 正则化项:只需要对w做正则化,b不需要。
正则化后的代价函数是在weights最小和cost最小之间做权衡。 较大,则偏向于weights更小。 较小,则偏向于cost更小。
Last updated
L2正则化,又称weights decay L2正则化的是指在代价函数中增加这样的正则项。
公式说明: C0为原始代价函数,可以是二次代价函数、cross-entropy等任意的代价函数。 :正则化参数。 正则化项:只需要对w做正则化,b不需要。
正则化后的代价函数是在weights最小和cost最小之间做权衡。 较大,则偏向于weights更小。 较小,则偏向于cost更小。
Last updated