理工酷

其他答案可能涉及数学推导，而在这里我将用通俗的语言解释清楚。 学习率就是神经网络放弃旧先验而接受新先验的速度。

如果一个孩子看到10个猫的例子，这些猫都有橙色的皮毛，那么这个孩子将认为猫是橙色的皮毛，并且会尝试寻找橙色的皮毛来识别一只猫。

现在，他看到一只黑猫，他的父母告诉他这是猫（有监督的学习）。由于“学习率”高，他将很快认识到“橙色皮毛”并不是猫的最重要特征。如果学习率较低，他将认为这只黑猫只是一个异类，猫仍然是橙色皮毛。

这个例子说起来可能有点夸张。你只需要理解更高的学习率意味着网络可以更快地改变主意。在上述情况下这可能是好的，但也可能是坏的。如果学习率过高，即使他看到的橙色猫的数量多于黑色猫，也可能会认为所有猫都是黑色的。

通常，你希望找到一个足够低的学习率来使网络收敛到有用的东西，但这个学习率又要足够高，以至于无需花费大量的时间训练网络模型。