什么是最差的机器学习算法?
0 1097
0
该提问暂无详细描述
收藏
2021-01-12 10:50 更新 anna •  5042
共 1 个回答
高赞 时间
0

好问题!人们总是痴迷于最好的模型,最好的算法等。

让我们从机器学习中最基本的问题-线性回归-开始,看看我们是否能找到数据集{(xp,yp)}p=1P的“最坏”线性回归器。

寻找最佳线性回归器通常被转换为以下优化问题,寻求具有最小二乘误差的线性模型。

minimizew0,wp(w0+xpTwyp)2如果我们试图最大化它,而不是最小化最小二乘误差,会发生什么? maximizew0,wp(w0+xpTwyp)2

你可能会很快注意到上面的最小二乘目标没有最大值:通过选择足够大的权重,你可以使目标尽可能大。 但这就是结局吗?还不是!

还记得正规化吗?

最小二乘回归有时是通过在目标中添加 λw22 来正规化的,以惩罚大的权重。我们可以在这里使用同样的策略,有一个区别:现在我们应该从我们试图最大化的目标函数中减去正则化项,给出

maximizew0,wp(w0+xpTwyp)2λw22 还有一个问题:在正则线性回归中,偏置权重w0w0通常不包括在正则化中。这将在这里引起一个问题,因为我们仍然可以通过发送w0w0到无穷大来使目标任意大 所以让我们也通过规范w0w0来解决这个问题。

maximizew0,wp(w0+xpTwyp)2λ(w02+w22)

我们现在有一个最大化问题,我们可以解决,例如,通过采取梯度上升步骤,或以封闭形式通过设置梯度为零。

好了,数学够了! 让我们看到我们的算法在行动的玩具回归数据集,有三个值的λλ(从左到右λ=1,10,100λλ=1,10,100)

可以看出我们的算法有多烂。

收藏
2021-01-12 15:47 更新 karry •  4540