为什么要对权重参数求梯度?
0 467
2
该提问暂无详细描述
收藏
2021-01-21 17:23 更新 阿托 •  17069
共 1 个回答
高赞 时间
0

反向传播是一种使用链式法则计算梯度的方法,通常,给定一个函数f(x),其中x是一个输入向量,我们要计算f在x点的梯度,用∇(f(x))来表示。这是因为在神经网络中,函数f基本上是一个损失函数(L),输入x是权重和训练数据的组合。

对权重参数求梯度是考虑到训练数据通常是固定的,而参数是可以控制的变量。计算参数的梯度可以用它进行参数更新。梯度∇f是偏导数向量,即 ∇f=[df/dx,df/dy]=[y,x]

可参考书目《实用卷积神经网络:运用Python实现高级深度学习模型》

收藏
2021-01-21 17:32 更新 正直的烤面包 •  4004