神经网络中的学习率是什么?
计算机/软件
0 229
0
该提问暂无详细描述
收藏
2021-01-19 11:13 更新 天明 •  893
共 1 个回答
高赞 时间
0

其他答案可能涉及数学推导,而在这里我将用通俗的语言解释清楚。 学习率就是神经网络放弃旧先验而接受新先验的速度。

如果一个孩子看到10个猫的例子,这些猫都有橙色的皮毛,那么这个孩子将认为猫是橙色的皮毛,并且会尝试寻找橙色的皮毛来识别一只猫。

现在,他看到一只黑猫,他的父母告诉他这是猫(有监督的学习)。由于“学习率”高,他将很快认识到“橙色皮毛”并不是猫的最重要特征。如果学习率较低,他将认为这只黑猫只是一个异类,猫仍然是橙色皮毛。

这个例子说起来可能有点夸张。你只需要理解更高的学习率意味着网络可以更快地改变主意。在上述情况下这可能是好的,但也可能是坏的。如果学习率过高,即使他看到的橙色猫的数量多于黑色猫,也可能会认为所有猫都是黑色的。

通常,你希望找到一个足够低的学习率来使网络收敛到有用的东西,但这个学习率又要足够高,以至于无需花费大量的时间训练网络模型。

收藏
2021-01-19 04:12 更新 Lisa •  1167