如何跳出局部最小解,从而进一步达到全局最小?
计算机/软件
0 228
0
该提问暂无详细描述
收藏
2021-01-19 06:02 更新 空心人 •  1679
共 1 个回答
高赞 时间
0
  1. 以多组不同参数值初始化多个神经网络,按标准方法训练后,取其中误差最小的解作为最终参数,这相当于从多个不同的初始点开始搜索,这样就肯能陷入不同的局部极小,从中进行选择有可能获得更接近全局极小的结果
  2. 使用“模拟退火”技术,模拟退火是在每一步都以一定的概率接受比当前解更差的结果,从而有助于“跳出”局部极小。在每步迭代过程中,接受“次优解”的概率要随着时间的推移而逐渐降低,从而保证算法稳定、
  3. 使用随机梯度下降。这与标准梯度下降法精确计算梯度不同,随机梯度下降法在计算梯度时候加入了随机因素。于是,即便陷入局部极小点,它计算出的梯度仍可能不为零,这样就有机会跳出局部极小继续进行搜索
  4. 遗传算法,也经常用于训练神经网络以更好的逼近全局最小。

收藏
2021-01-19 06:07 更新 小眼的铁板烧 •  1884