# 学习率eta

## 静态学习率

1. 确定$$\eta$$的量级：  

   尝试0.01、0.1、1等数值，找到使训练样本在第一轮迭代中cost下降的最大的$$\eta$$  
2. 确定$$\eta$$的threshold：

   $$\eta$$的threshold为使训练样本在第一轮迭代中cost的下降的最大的$$\eta$$。

   例如$$\eta$$的量级为0.1，threshold在0.1到1之间。不需要太准确。  
3. 比如$$\eta$$的threshold为0.5，书上取threshold的一半为比较好的$$\eta$$。  

**问：为什么使用训练样本集来选择超参数**$$\eta$$**？**\
答：前文说过，训练样本用于训练模型，验证样本用于选择超参数，为什么在这里作者建议使用训练样本来选择超参数$$\eta$$？因为：\
1\. eta主要作用是控制模型的学习进度（训练模型），顺便提升准确率（验证模型）。而其它超参数的主要作用是提升准确率（验证模型）。\
2\. 作者个人喜好。

## 动态学习率

在训练开始时，模型错误比较大，可以使用较大的$$\eta$$。\
迭代一定次数后，模型错误较小，应该调整为较小的$$\eta$$。

作者介绍一次调整$$\eta$$的方法：\
1\. 先使用固定的$$\eta$$训练。\
2\. 迭代一定次数后，准确率开始下降，则按一定比例调小$$\eta$$，继续训练\
3\. 当当前$$\eta$$已经是初始$$\eta$$的一定比例，例如1/1000以后，停止迭代。