L1正则化

L1正则化的原理与L2相同，都是通过添加一个正则项来限制weights的大小。

w的偏导公式为：

w的更新公式为：

L1 VS L2

1. L1的shrink大小为常数。当|w|较大时，L2 shrink更快。当|w|较小时，L1 shrink更快。

2. L1倾向于使weights留在重要的connect上，而使其它connect趋向于0。