逻辑回归和朴素贝叶斯有什么区别?
0 303
0
该提问暂无详细描述
收藏
2021-01-07 03:45 更新 🍊小桔子 •  1920
共 1 个回答
高赞 时间
0

逻辑回归和朴素贝叶斯都训练线性决策函数jwjxj的特征权重wj(如果大于0,则判定为真;如果小于0,则判定为假)。不同之处在于如何根据训练数据拟合权重。 在朴素贝叶斯中(下面简称NB),可以根据每个特征与标签的相关程度分别设置其权重。(权重是不同类别特征的对数似然比。) 相比之下,在逻辑回归中,将所有权重设置在一起,使得线性决策函数对于正类别倾向于较高,而对于负类别倾向于较低。(线性SVM的工作原理相同,只是对“趋向于高/低”的含义进行了调整。) 当特征相关时,NB和逻辑回归之间的区别就显现出来了。假设你有两个特征是有用的,且与标签相关的预测因子,但它们本身是重复的,彼此之间也具有额外的相关性。NB会给它们两个都很大的权重,因此它们的影响是重复计算的。但是逻辑回归将通过降低权重来补偿。 这是一种查看模型的概率假设的方式,也就是说,NB提出了条件独立性假设,当具有相关的/重复性特征时会违反该假设。 NB的一个优点是训练没有优化步骤。你只需为每个特征计算一个计数表,就可以使用它了--它是单通道的,可以在各个方面进行简单的并行处理。 逻辑回归的一个优点是,你可以不熟悉特征工程,可以在不损害整体模型的情况下加入一个特征的多个变体(前提是要适当地进行正则化),但在NB中这可能会出现问题。

收藏
2021-01-07 04:34 更新 Lisa •  1296