理工酷

要了解这个理论，我们首先要了解什么是归纳偏好。 机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好“或者简称为”偏好“。可以理解为有机器学习在训练集上训练得到的不同的模型那个更好也就是哪一个泛化性更强，可以用于其他问题的判断。 归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对建设进行选择的启发式或者价值观。 对于这种偏好，奥卡姆剃刀原则是一种常用的自然科学中最为基本的原则。即“若有多个假设与观察一致，则选择最简单的那个“。但是这个原则并非是唯一的原则。 对于“什么样的模型更好“这样的假设的现实问题中，这个假设是否成立，即算法本身的归纳偏好是否与问题匹配大多数时候决定了算法能否取得好的性能。 对于没有免费午餐理论也就好理解了，在所有“问题“出现的机会相同的情况下或者所有问题同等重要的条件下，一个算法无论是复杂或者简单他们的期望值是相同的。 这个理论最为重要的意义就是要我们清楚的认识到，脱离具体的问题，空泛的谈论什么算法更好是没有意义的，因为如果考虑所有的潜在问题，则所有的算法都是一样好的，要谈论算法的优劣一定要针对具体的学习问题。在某些问题上表现比较好的学习算法在另一些问题上可能不尽人意，学习算法的归纳偏好于问题是否相匹配，往往会起到决定性作用。