0
迁移学习就是将学习到的特征“迁移”到另一个问题上。例如,人们可以使用预先训练的卷积神经网络(convNet)的特征来为线性支持向量机(SVM)提供动力。在这种情况下,预先训练的模型可以保持固定,而线性支持向量机的权值可以更新。
另一方面,fine tuning就是做一些微调来进一步提高性能。例如,在迁移学习期间,你可以解冻预先训练的模型,让它更适应手头的任务。
转移学习就是通过一个预先训练好的模型来预测所有的新输入。如果我们有一个pre-trained模型函数𝑓()和想学习一个新的函数𝑔(),我们可以通过𝑔(𝑓(𝑥))简化𝑔(),在这种方式下,𝑔()通过𝑓()查看所有数据。它可能涉及微调预训练的模型,我们也可以在学习过程中微调𝑓()。
在机器学习中,学习过程本身可以算作微调,因为更新过程在梯度的相反方向上采取了非常小的步骤。但微调通常被保留为最后阶段,包括设置非常低的学习率,以便微调权值。
学习过程通常从一个非常糟糕的初始状态开始,具有相当大的学习率,然后可能涉及一个学习率很小的微调阶段。实际上,你可以将学习阶段分为多个微调阶段,每个阶段的学习率都比上一个阶段小。
收藏