6-9 有关梯度下降法的更多深入讨论

  • 批量梯度下降法 Batch Gradient Descent,缺点:慢,优点:稳定

  • 随机梯度下降法 Stochastic Gradient Descent,优点:快,缺点:不稳定

  • 小批量梯度下降法 Mini-Batch Gradient Descent,以上两种结合

随机

随机梯度下降法可以跳出局部最优解 随机梯度下降法运行速度更快 机器学习领域很多算法都要使用随机的特点,例如随机搜索、随机森林

Last updated