理工酷

迁移学习就是将学习到的特征“迁移”到另一个问题上。例如，人们可以使用预先训练的卷积神经网络(convNet)的特征来为线性支持向量机(SVM)提供动力。在这种情况下，预先训练的模型可以保持固定，而线性支持向量机的权值可以更新。

另一方面，fine tuning就是做一些微调来进一步提高性能。例如，在迁移学习期间，你可以解冻预先训练的模型，让它更适应手头的任务。

转移学习就是通过一个预先训练好的模型来预测所有的新输入。如果我们有一个pre-trained模型函数𝑓()和想学习一个新的函数𝑔(),我们可以通过𝑔(𝑓(𝑥))简化𝑔()，在这种方式下，𝑔()通过𝑓()查看所有数据。它可能涉及微调预训练的模型，我们也可以在学习过程中微调𝑓（）。

在机器学习中，学习过程本身可以算作微调，因为更新过程在梯度的相反方向上采取了非常小的步骤。但微调通常被保留为最后阶段，包括设置非常低的学习率，以便微调权值。

学习过程通常从一个非常糟糕的初始状态开始，具有相当大的学习率，然后可能涉及一个学习率很小的微调阶段。实际上，你可以将学习阶段分为多个微调阶段，每个阶段的学习率都比上一个阶段小。