理工酷

在机器学习中，我们使用术语“超参数”来区分标准模型参数。所以，有必要先了解超参数的概念是什么。

机器学习模型是一个数学公式的定义，它包含一些需要从数据中学习的参数。这就是机器学习的关键:将模型与数据相匹配。这个步骤是通过一个称为模型训练的过程来完成的。换句话说，通过用现有数据训练模型，我们能够拟合模型参数。

然而，还有一种参数是不能从常规训练过程中直接学习到的，这些参数表示模型的“高级”属性，如复杂性或学习率，它们被称为超参数。超参数通常在实际训练过程开始之前就固定好了。

那么，超参数是如何决定的呢?这可能超出了这个问题的范围，但我只想说，广义地说，这是通过为这些超参数设置不同的值，训练不同的模型，并通过测试来决定哪个最有效。

所以,关于超参数的概念，我的总结如下： 定义关于模型的更高层次的概念，如复杂性或学习能力。 不能直接从标准模型训练过程中的数据中学习，需要预先定义。 可以通过设置不同的值，训练不同的模型，并选择测试更好的值来决定。

超参数的一些例子:

• 树的数量或树的深度
• 矩阵分解中潜在因子的个数
• 学习率(在许多模型中)
• 深度神经网络的隐含层数
• 一个k-means聚类中聚类的数目